Ютуб в России лихорадит, и непонятно, чтоб будет дальше. Самое время посмотреть на Китай, где Ютуб давно заблокирован, но у людей есть несколько заменителей. Разбираем самый интересный из них, который больше всего похож на Ютуб. Это Bilibili, и у него необычная история (спойлер - он появился благодаря геймерам и анимешникам), особенности и фичи.
Привет! Несмотря на все невзгоды года текущего, интересные мероприятия и статьи с них никуда не деваются. Поэтому ML команда Одноклассников подготовила разборы работ коллег из Google, Microsoft, Tencent и др. представленных на прошедшей этой осенью конференции по рекомендательным системам RecSys 2020.
Графовые рекомендательные системы показывают state of the art результаты, но про них редко пишут и еще реже используют в продакшене. В этой статье мы расскажем про опыт Одноклассников в применении графового подхода для задачи рекомендации групп, разберем причем тут нейросети и что делать, если не все рекомендации одинаково полезны для пользователей и портала.
Привет, меня зовут Вася Рубцов, я занимаюсь разработкой рекомендательных систем в Авито.
Основная цель площадки для размещения объявлений — помочь продавцам найти покупателей, а покупателям — товары, которые они ищут. В отличие от интернет-магазинов факт продажи происходит за пределами нашей платформы, и мы не можем это отследить. Поэтому ключевой метрикой у нас является «контакт» — это событие нажатия кнопки «показать телефон» на карточке товара, либо начало диалога в мессенджере с продавцом. Из этой метрики мы получаем «байеров» — количество уникальных пользователей в день, которые сделали по крайней мере один контакт.
Два основных продукта, которым занимается отдел рекомендаций в Авито, — это рекомендации для пользователя на главной странице или user2item и блок похожих объявлений на карточке товара или item2item. Треть всех просмотров объявлений и четверть всех контактов происходит с рекомендаций, поэтому рекомендательные движки играют важную роль в Авито.
В статье я расскажу, как мы улучшили наши item2item рекомендации за счёт item2vec и как это повлияло на user2item рекомендации.
Меня зовут Павел Пархоменко, я ML-разработчик. В этой статье я хотел бы рассказать об устройстве сервиса Яндекс.Дзен и поделиться техническими улучшениями, внедрение которых позволило увеличить качество рекомендаций. Из поста вы узнаете, как всего за несколько миллисекунд находить среди миллионов документов наиболее релевантные для пользователя; как делать непрерывное разложение большой матрицы (состоящей из миллионов столбцов и десятков миллионов строк), чтобы новые документы получали свой вектор за десятки минут; как переиспользовать разложение матрицы пользователь-статья, чтобы получить хорошее векторное представление для видео.
Машинное обучение довольно сильно проникло в нашу обыденную жизнь. Некоторые уже не удивляются, когда им рассказывают про нейронные сети в их смартфонах. Одной из больших областей в этой науке являются рекомендательные системы. Они есть везде: когда вы слушаете музыку, читаете книги, смотрите сериалы или видео. Развитие этой науки происходит в компаниях гигантах, таких как YouTube, Spotify и Netfilx. Конечно же, все научные достижения в этой области публикуются как на известных конференциях NeurIPS или ICML, так и на чуть менее известной RecSys, заточенной на эту тематику. И в этой статье мы поговорим, как развивалась эта наука, какие методы применяются в рекомендациях тогда и сейчас и какая математика за всем этим стоит.
Если вспомнить практику анализа данных 10 лет назад и сравнить её с тем, что есть сейчас, то станет очевидно —за декаду Data Science проделал гигантский путь. Компьютерное зрение, рекомендательные системы, большие данные, искусственный интеллект — в 2010 эти слова использовались в основном только передовыми ИТ-компаниями. Никто не мог представить, что всего лишь за 10 лет эти технологии изменят мир.
Каким бы был Netflix без рекомендательной системы? Кто будет подсказывать какие сериальчики смотреть по вечерам. Или Apple music, в котором вам ничего не рассказывают про новые альбомы в стиле христианский блэк-метал? Только подумайте сколько времени займет выдача кредита без применения скоринговой системы? Представьте себе YouTube, который ничего не показывает в разделе «Рекомендованные видео». Хотя… при таком сценарии я бы больше спал, а не смотрел смешные видосы про котов до 3-х часов ночи. Мир ждет, что водителей заменят беспилотные автомобили, хотя в 2010 это было научной фантастикой. Да чего там, Tinder подбирает пары на основе алгоритмов машинного обучения, люди женятся, у них рождаются дети, если призадуматься, то окажется, что фактически это дети искусственного интеллекта Sic.
Мы многим обязаны Data Science, поэтому 16 декабря в московском офисе Одноклассников соберемся и вместе с коллегами из OK, Сбербанка, VK и X5 Retail Group проведем ок.tech: Data Толк #4 новогодний выпуск. Поговорим про итоги года и десятилетия в области анализа и обработки данных. Какой была индустрия раньше, что она представляет сейчас и какие сюрпризы нас ждут в будущем, когда Илон Маск заменит людей огромными человекоподобными роботами. Ответы на все эти вопросы вы получите на нашем мероприятии.
Приходите! Будет полезно, интересно и весело!
Зарегистрироваться на мероприятие.
Под катом вас ждут описания докладов и расписание.
Читать полностью »
Это — ответ на пост на животрепещущую тему «что посмотреть». Автор сам напросился поднял правильный вопрос, но почему-то свел все к странной психологической аналогии «заедания стресса», заявив: «Пока вы сами не знаете, что хотите посмотреть — никто вам не поможет. Будете тупо смотреть ради психологического успокоения».
По-моему, такая постановка вопроса излишне спекулятивна. Да, она отчасти верна, в том плане, что просмотр кино — вещь спонтанная и изначально не предполагает серьезного умственного анализа в процессе этого развлечения.
Киану тоже задумался, какой из своих фильмов посмотреть
Но (все написанное далее — личное мнение автора и его рассуждения) как правило, лично я могу, пусть и в собственных терминах, объяснить, что именно я хочу от фильма. А раз есть личные критерии и хотя бы качественная их оценка, к тому же существуют формализованные понятия вроде «сценарий», «режиссура», «звук», которые тоже могут быть критериями, то уже возможно построить некую модель — в виде алгоритмов, классификатора или обучения с учителем.
Я не программист и не могу продемонстрировать некий работающий метод «вотпрямщас». Но я кинолюбитель, и постараюсь внятно сформулировать те способы осмысления и оценки кинофильмов, на которые можно обратить внимание, и сопутствующие проблемы, которые могут быть неочевидными, если их внятно не обозначить. Поскольку это ответ, теги-хабы поставил как в оригинальном посте, не бейте, пятница же.
Читать полностью »
Знакома ли вам ситуация: решили провести вечер дома и посмотреть какое-нибудь кино в хорошей компании, но, попытавшись определиться, какое — провели за выбором столько времени, что на кино его не осталось — или пропало желание — или, всё-таки, начали что-то смотреть, но настроение было уже не то?
Большинство людей списывают эту проблему на свою недостаточную осведомлённость о мире кино, и пытаются её решить с помощью разных подборок и рейтингов, либо спрашивая совета — а бизнесы, в свою очередь, стараются сделать то же самое, предлагая пользователям подборки и рейтинги, либо разрабатывая рекомендательные системы. Тем не менее, проблема никуда не желает деваться — и развитие рекомендательных систем только перекрасило её в другие тона: теперь пользователи, вместо того, чтобы спрашивать совета у знакомых и незнакомых в интернете, бесконечно листают ряды ярких постеров на Netflix (проблема-то глобальная) или каком-нибудь ivi. Бизнесы, тем временем, за отсутствием лучших идей, продолжают пытаться запихнуть кубик в замочную скважину, надеясь, что всё-таки сумеют сделать рекомендательную систему, которая научится-таки угадывать, чего хочет пользователь, который не знает, чего он хочет; правда, надежды разработчиков на коллективный разум уже не оправдались: призывать на помощь других пользователей не помогло — каталоги отзывов и сервисы вопросов-ответов только уменьшают боль, не избавляя от неё, — так что теперь все ставки на разум искусственный — уж ИИ-то точно должен раскусить этот орешек!
Не раскусит. Во-первых, нейросети — это не ИИ. Читать полностью »
Привет! Меня зовут Николай, и я занимаюсь построением и внедрением моделей машинного обучения в Сбербанке. Сегодня расскажу о разработке рекомендательной системы для платежей и переводов в приложении на ваших смартфонах.
Дизайн главного экрана мобильного приложения с рекомендациями
У нас было 2 сотни тысяч возможных вариантов платежей, 55 миллионов клиентов, 5 различных банковских источников, полсолонки разработчиков и гора банковской активности, алгоритмов и всего такого, всех цветов, а ещё литр рандомных сидов, ящик гиперпараметров, пол-литра поправочных коэффициентов и две дюжины библиотек. Не то чтобы это всё было нужно в работе, но раз начал улучшать жизнь клиентов, то иди в своём увлечении до конца. Под катом история о сражении за UX, о правильной постановке задачи, о борьбе с размерностью данных, о вкладе в open-source и наших результатах.
