Карты помогают людям найти нужный адрес или составить маршрут, а иногда и просто сориентироваться в пространстве. Это базовая функция любых карт, и она довольно очевидна. Интернет добавляет к ней новые возможности, — например, поиск нужных организаций и информации о них. Теперь организации можно не только искать, но и пользоваться их услугами — сегодня на Яндекс.Картах появилась возможность заказать столик в ресторане, записаться на стрижку или на приём к врачу.
Некоторое время назад мы рассказывали на Хабре о том, что поиск Яндекса стал более персонализированным. Он учитывает не только постоянные, но и сиюминутные интересы пользователя, ориентируясь на последние несколько запросов и действий.
Сегодня мы хотим рассказать о технологии Real Time MapReduce, благодаря которой всё это стало возможно. Она обеспечивает передачу и обработку огромных объёмов данных, необходимых для этой задачи, и чтобы сделать это, нам даже не пришлось переписывать код для MapReduce, который у нас уже использовался.
Чтобы персонализировать поисковую выдачу, нужно определить круг интересов пользователя, для чего мы сохраняем информацию о его поведении на странице поиска. Данные о действиях пользователя записываются в логи, а затем обрабатываются при помощи специальных алгоритмов, которые позволяют нам составить наиболее релевантную выдачу по запросу для каждого отдельно взятого пользователя. Сначала обработка логов запускалась раз в сутки, для чего очень хорошо подходила технология распределенных вычислений MapReduce. Она прекрасно справляется с анализом значительных объемов данных.
Читать полностью »
Недавно и в Яндекс.Почте для доменов у писем появилась цифровая подпись DKIM — DomainKeys Identified Mail.
DKIM — это технология, которая удостоверяет подлинность отправителя письма с помощью добавления цифровой подписи, связанной с именем домена. По статистике Яндекс.Спамообороны, в настоящее время уже половина приходящих на сервера Яндекс.Почты писем содержат верную цифровую подпись. И постепенно их становится всё больше — два года назад такие письма составляли 35% ото всех.
В Яндекс.Почте цифровая подпись служит для борьбы со спамом и фишингом. До появления DKIM одним из факторов, с помощью которых Спамооборона понимала нежелательность письма, была верификация отправителя при помощи SPF — Sender Policy Framefork, над которым за время его существования успело поработать множество рабочих групп, включая рабочую группу MARID в IETF.
Для того чтобы определить подлинность письма, DKIM весьма элегантно использует современные криптографические достижения. Под катом — о том, как реализована DKIM в Почте для доменов, какие недостатки есть у SPF и почему, несмотря на них, мы продолжим использовать обе технологии.
Читать полностью »
В прошлом году я был одним из тех, кто поступил в Школу разработки интерфейсов Яндекса и закончил её, и сегодня хочу рассказать вам о том, каким я увидел учебный процесс в ШРИ, как это бывает и что даёт.
Честно признаюсь, что поводом для поста стал второй набор в Школу разработчиков интерфейсов Яндекса, который проходит сейчас. В этом году занятия Школы будут проходить не только в Москве, но и в Екатеринбурге. Программы курсов немного отличаются, но везде есть как теоретические, так практические занятия. Вести их будут ведущие фронтенд-разработчики Яндекса, которые работают над интефейсами Поиска, Почты, Карт, Маркета и других сервисов.
Надеюсь, что мой рассказ вдохновит кого-то самому поступить в школу, или хотя бы потом посмотреть видео лекций, когда они будут опубликованы (видео прошлого курса смотрите здесь).
Я приехал в Москву с юга России шесть лет назад — учиться. Поступил в Московский авиационный институт, успешно его закончил, успел поработать в нескольких конторах разноработчиком, а теперь работаю в Яндексе. Но я никогда не ставил себе цель попасть именно в Яндекс — казалось, что не дотяну, поэтому я даже ни разу не ходил туда на собеседования.
Рассказывать буду, как могу — с цитатами из дневника/почты/гитхаба за соответствующие даты, множеством ссылок, а иногда и смайликами, потому что за долгое время пребывания в интернете я привык передавать эмоции в тексте.
Читать полностью »
Несколько дней назад скончался основатель и директор по технологиям Яндекса, автор первой версии поисковика и слова Yandex Илья Сегалович.
Прощание состоится завтра, 1 августа, на Троекуровском кладбище с 10:00 до 13:00. Для всех, кто хочет проститься с Ильёй, будет организован трансфер от метро «Славянский бульвар»: автобусы начнут ходить по маршруту с 9:30. В вестибюле станции и рядом с метро вы увидите волонтёров в футболках Яндекса — они подскажут, как пройти к автобусам.
Мест для парковки около кладбища не будет, поэтому просим вас пользоваться этими автобусами.
Сегодня около 12 миллионов человек хранят свои файлы на Яндекс.Диске. Любой пользователь может бесплатно получить до 20 ГБ облачного пространства, однако у многих людей одна только фотоколлекция наверняка занимает больше места — особенно если в ней хранятся оригиналы цифровых фотографий. А если вы, к примеру, занимаетесь съёмкой и монтажом видео, то ваши рабочие файлы вряд ли уместятся и в 100 ГБ.
В четверг, 25 июля 2013 года, в половину второго ночи по Москве у Илюши была зафиксирована смерть головного мозга.
Смерть головного мозга и отсутствие дыхания – это современное техническое определение сметри. Cегодняшние медицинские технологии дают возможность продержать тело еще несколько дней на искусственном дыхании. Так делают для того, чтобы родственники успели попрощаться. Но это невозвратное состояние. Не было ни одного случая возрождения после смерти мозга.
По-медицински его состояние называлось «кома без признаков мозговой активности». Судя по публикациям, некоторые приняли это за вегетативную кому: когда мозг жив, но не работают другие, технически заменяемые органы. В вегетативном состоянии пациента можно держать годами. Но продержать тело в рабочем состоянии больше нескольких дней при смерти мозга невозможно.
Единственная надежда, которая у нас была, – это ошибка диагноза. Мы сами не могли сотворить чудо, но мы дали возможность ему произойти.
Вчера все надежды закончились. Даже такое сильное тело, как было у Илюши, не выдержало. Появились несовместимые с жизнью изменения в составе крови. Надо было дать ему отойти с достоинством. Врачи отключили его вчера днем, сердце остановилось.
В прошлом сентябре Илюше был поставлен диагноз «терминальный рак желудка с метастазами». Шансов не давали никаких. Все ходили убитые. Но произошло чудо. Был найден очень хороший доктор, и сильный организм оказался восприимчив к химии. Илья буквально ожил и был очень активным весь этот год до последней недели, все метастазы ушли. Все это видели и удивлялись невозможному.
На прошлой неделе была обнаружена опухоль в голове. Во вторник-среду рак перекинулся на оболочки мозга. Злокачественный менингит привёл к необратимым последствиям – его мозг «сгорел» меньше, чем за сутки.
В среду тело Илюши привезут домой. Проститься с Ильёй можно будет на следующей неделе – о месте и времени сообщим дополнительно.
Аркадий Волож
Читать полностью »
Мы дружили с Илюшей со школы, четыре года сидели за одной партой. А потом вместе делали Яндекс. Сегодня ночью его не стало. Все случилось слишком быстро и неожиданно.
Последний раз он выступал перед нашими cтамбульскими ребятами в прошлый четверг. Он вышел и сказал: «Здравствуйте, меня зовут Илья». Все засмеялись, и он рассказал про поисковую платформу Острова.
Сегодня открывается бета-версия Островов Яндекса. Это платформа с новым интерфейсом и интерактивными ответами, которые призваны упростить людям решение их задач.
Доступ к бете мы будем открывать постепенно: сегодня свои инвайты начнут получать все, кто запросил к ней доступ после объявление платформы в мае.
По этому поводу, специально для Хабра, мы взяли интервью у руководителя проекта «Острова» Тараса Шарова. Он рассказал о принципах и истории платформы, а также о том, зачем Яндекс затеял такое серьёзное обновление вида результатов поиска.
Привет, Тарас. Расскажи, что такое платформа «Острова», и почему мы сегодня возвращаемся к этой теме.
Острова — это и продукт, и платформа, и интерфейс. На YaC/m мы рассказали о платформе. Сегодня открываем бету, в которой запускаем «островной» интерфейс и некоторое количество интерактивных ответов. Все, что мы сейчас делаем, правильно воспринимать как продукт, который существует на трех платформах: десктопах, планшетах и мобильных устройствах. Так что все решения, которые мы на данный момент готовы представим в нашей бете, будут работать везде.
Читать полностью »
Сегодня мы расскажем о механизме, который позволяет поиску Яндекса находить именно то, что имел в виду пользователь, как бы кратко и небрежно он ни сформулировал свой запрос.
В мире поиска такой механизм называют расширением поискового запроса. Термин достаточно широкий, включает в себя переформулировки, синонимы, транслит и даже однокоренные слова (последние иногда ошибочно называют поддержкой морфологии).
Из каких частей этот механизм состоит? Что помогает ему угадывать? И почему на каждую из его редких ошибок приходятся тысячи запросов, на которых он сильно помог?
