Рубрика «Блог компании Яндекс» - 12

Сейчас почти никакие публичные мероприятия не проходят, но мы надеемся, что скоро ситуация изменится (и прикладываем к этому усилия). Мы ждём, что перенесённые события пройдут в другие даты, а будущие — не отменятся, поскольку в их отмене не будет необходимости. В том числе в 2020 году должны пройти десятки больших конференций по машинному обучению.

NeurIPS (бывшая NIPS) считается самой престижной из них. Каждый год NeurIPS собирает тысячи исследователей и инженеров, которые представляют свои научные результаты в разных областях ML: глубоком обучении, обучении с подкреплением, масштабируемой оптимизации, байесовских методах и другом.

По мотивам прошедшей несколько месяцев назад в Ванкувере NeurIPS мы провели дискуссию, куда пригласили экспертов из научного мира и мира IT. Каждый из них интересуется разными вещами в машинном обучении, опыт посещения NeurIPS тоже разный. Под катом — краткая выжимка тех частей дискуссии, которые относятся к причинам посетить конференцию.

Читать полностью »

Мы сегодня запустили виртуальную галерею, где все картины созданы нейронной сетью. Её особенность в том, что каждую картину в полном размере может забрать себе только один человек. Почти как в настоящей галерее.

В этом посте я расскажу о том, как родилась эта идея и как мы реализовали её с помощью двух нейросетей, одна из которых используется в поиске Яндекса.

Как мы создавали галерею нейросетевого искусства и почему не даём копировать картины - 1

Читать полностью »

До 2020 года в Школу анализа данных могли попасть только те, кто очень глубоко и творчески владеет высшей математикой. Но этим качеством обладают не все способные люди, интересующиеся data science и инфраструктурой больших данных. Нередко разработчики, аналитики и молодые исследователи не помнят математику 1-2 курса вуза настолько хорошо, чтобы преодолеть наши вступительные экзамены. В этом году мы хотим дать таким людям возможность всё-таки попасть в ШАД. Мы организовали для них специальный трек поступления, о котором я расскажу ниже.

Но мало в ШАД попасть. Матанализ, линейная алгебра и теория вероятностей будут нужны дальше: без них не удастся разобраться с байесовскими методами, корректно оценить асимптотику сложности быстрой сортировки, написать хитрый метод многомерной оптимизации. Поэтому мы создаём принципиально новый адаптационный курс по математике. Все, кто поступят в ШАД по новым правилам, должны будут пройти этот курс.

Берём не только крутых математиков. Новый способ поступить в ШАД с опытом в IT - 1
Читать полностью »

Аналитическая СУБД ClickHouse обрабатывает множество разных строк, потребляя ресурсы. Для ускорения работы системы постоянно добавляются новые оптимизации. Разработчик ClickHouse Николай Кочетов рассказывает о строковом типе данных, в том числе о новом типе, LowCardinality, и объясняет, как можно ускорить работу со строками.

— Сначала давайте разберемся, как можно хранить строки.
Читать полностью »

В феврале Яндекс провёл вторую конференцию «Я Глазные интерфейсы. Доклад в Яндексе - 1 Фронтенд». Мы сделали её непохожей на наши традиционные Я.Субботники — почти все спикеры были не из Яндекса, чтобы зрители могли узнать об опыте разных компаний и разработчиков. За день было съедено 10 кг мармелада, гости посмотрели, как работает робот-курьер Яндекс.Ровер, а вечером поболели за участников контеста Code in the Dark.

Глазные интерфейсы. Доклад в Яндексе - 2Глазные интерфейсы. Доклад в Яндексе - 3Глазные интерфейсы. Доклад в Яндексе - 4Глазные интерфейсы. Доклад в Яндексе - 5
Глазные интерфейсы. Доклад в Яндексе - 6Глазные интерфейсы. Доклад в Яндексе - 7Глазные интерфейсы. Доклад в Яндексе - 8Глазные интерфейсы. Доклад в Яндексе - 9
Глазные интерфейсы. Доклад в Яндексе - 10Глазные интерфейсы. Доклад в Яндексе - 11Глазные интерфейсы. Доклад в Яндексе - 12Глазные интерфейсы. Доклад в Яндексе - 13

Как всегда, мы опубликуем конспекты нескольких докладов с конференции. Иван Бакаидов ibakaidov работает программистом в компании LINKa в Санкт-Петербурге. Он создатель программ альтернативной коммуникации и защитник прав людей без подписи. Ваня выступал на сессии комиссии по делам глухих в чрезвычайных ситуациях гуманитарного саммита ООН в Стамбуле. У нас на конференции он рассказал о «глазных интерфейсах» — поделился опытом разработки детских обучающих игр и приложений, управляемых с помощью устройства отслеживания взгляда и предназначенных для людей с ограниченными возможностями здоровья. Из конспекта и видео вы узнаете о подводных камнях в создании «глазных интерфейсов» и сможете ответить для себя на вопрос, будущее ли это.
Читать полностью »

Как объединить две платформы в одну и не обидеть пользователей. Опыт разработчиков Яндекс.Кью - 1

В прошлом году к Яндексу присоединился сервис TheQuestion. На тот момент уже был схожий сервис вопросов и ответов — Яндекс.Знатоки. У Знатоков была большая аудитория и много интересных вопросов, но не хватало экспертов, которые могли давать качественные ответы на эти вопросы. TheQuestion же, наоборот, имел сильное сообщество экспертов, но ему не хватало интересных вопросов. Логичным шагом было объединить два сервиса, чтобы взять лучшее у каждого из них. Но как это сделать, если у каждого сервиса своя технологическая база, контент и пользователи?

Сегодня я расскажу о том, как наша команда решила эту задачу с технологической точки зрения. Вы узнаете, какие варианты объединения мы рассматривали и какой в конце концов выбрали. Расскажу про «подменное API», миграцию баз данных, объединение профилей и тестирование бэкенда. А ещё — про ночь переезда без права на ошибку. Вы увидите, что скучать нам не пришлось.

Читать полностью »

Интернет вещей в Яндекс.Облаке: как устроены сервисы Yandex IoT Core и Yandex Cloud Functions - 1

В октябре прошлого года состоялась первая облачная конференция Яндекса Yandex Scale. На ней было объявлено о запуске множества новых сервисов, в том числе Yandex IoT Core, который позволяет обмениваться данными с миллионами устройств Интернета вещей.

В этой статье я расскажу о том, зачем нужен и как устроен Yandex IoT Core, а также каким образом он может взаимодействовать с другими сервисами Яндекс.Облака. Вы узнаете об архитектуре, тонкостях взаимодействия компонентов и особенностях реализации функционала — всё это поможет вам оптимизировать использование этих сервисов.

Читать полностью »

Яндекс открывает Testsuite - 1

Сегодня мы открываем исходный код testsuite — фреймворка для тестирования HTTP-сервисов, который разработан и применяется в Яндекс.Такси. Исходники опубликованы на GitHub под лицензией MIT.

С помощью testsuite удобно тестировать HTTP-сервисы. Он предоставляет готовые механизмы, чтобы:

— Взаимодействовать с сервисом через вызовы его HTTP API.
— Перехватить и обработать HTTP-вызовы, которые сервис отправляет во внешние сервисы.
— Проверить, какие вызовы во внешние сервисы сделаны и в каком порядке.
— Взаимодействовать с базой данных сервиса, чтобы создать предусловие или проверить результат.

Читать полностью »

Первый хакатон на основе данных Яндекс.Недвижимости - 1

Рынок недвижимости — отличный источник данных для хакатонов, онлайн-контестов по программированию и других соревнований разработчиков. Дело в том, что эта сфера производит большие объёмы качественных данных, компании заинтересованы в проникновении ML, а участники могут сходу предложить основанные на данных улучшения существующих сервисов. 21 и 22 марта Яндекс.Недвижимость проведёт в Москве свой первый хакатон — Hack The Realty. Мы ищем новые способы сделать сервис удобнее и информативнее, а взамен готовы предоставить наши данные, ресурс экспертов и денежные призы. Регистрация продлится до 10 марта.
Читать полностью »

С 1 по 30 апреля в Москве, Санкт-Петербурге и Екатеринбурге пройдёт четвёртая Академия Гипербатона. Это образовательный курс Яндекса для технических писателей, редакторов, а в этом году — ещё и для переводчиков. Зарегистрироваться на курс можно до понедельника следующей недели (9 марта) включительно. Для регистрации необходимо рассказать о себе и выполнить небольшое тестовое задание. Занятия будут проходить в офисах Яндекса по вечерам будних дней, 2–3 раза в неделю. Ещё несколько часов в неделю займут домашние задания.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js