Машинное обучение довольно сильно проникло в нашу обыденную жизнь. Некоторые уже не удивляются, когда им рассказывают про нейронные сети в их смартфонах. Одной из больших областей в этой науке являются рекомендательные системы. Они есть везде: когда вы слушаете музыку, читаете книги, смотрите сериалы или видео. Развитие этой науки происходит в компаниях гигантах, таких как YouTube, Spotify и Netfilx. Конечно же, все научные достижения в этой области публикуются как на известных конференциях NeurIPS или ICML, так и на чуть менее известной RecSys, заточенной на эту тематику. И в этой статье мы поговорим, как развивалась эта наука, какие методы применяются в рекомендациях тогда и сейчас и какая математика за всем этим стоит.
Рубрика «рекомендательные системы» - 2
People meet recommender systems. Factorization
2020-02-03 в 15:46, admin, рубрики: Алгоритмы, математика, машинное обучение, оптимизация, рекомендательные системыок.tech: Data Толк #4 новогодний выпуск
2019-11-29 в 8:23, admin, рубрики: big data, data analysis, data mining, data science, Блог компании Одноклассники, искусственный интеллект, машинное обучение, одноклассники, рекомендательные системыЕсли вспомнить практику анализа данных 10 лет назад и сравнить её с тем, что есть сейчас, то станет очевидно —за декаду Data Science проделал гигантский путь. Компьютерное зрение, рекомендательные системы, большие данные, искусственный интеллект — в 2010 эти слова использовались в основном только передовыми ИТ-компаниями. Никто не мог представить, что всего лишь за 10 лет эти технологии изменят мир.
Каким бы был Netflix без рекомендательной системы? Кто будет подсказывать какие сериальчики смотреть по вечерам. Или Apple music, в котором вам ничего не рассказывают про новые альбомы в стиле христианский блэк-метал? Только подумайте сколько времени займет выдача кредита без применения скоринговой системы? Представьте себе YouTube, который ничего не показывает в разделе «Рекомендованные видео». Хотя… при таком сценарии я бы больше спал, а не смотрел смешные видосы про котов до 3-х часов ночи. Мир ждет, что водителей заменят беспилотные автомобили, хотя в 2010 это было научной фантастикой. Да чего там, Tinder подбирает пары на основе алгоритмов машинного обучения, люди женятся, у них рождаются дети, если призадуматься, то окажется, что фактически это дети искусственного интеллекта Sic.
Мы многим обязаны Data Science, поэтому 16 декабря в московском офисе Одноклассников соберемся и вместе с коллегами из OK, Сбербанка, VK и X5 Retail Group проведем ок.tech: Data Толк #4 новогодний выпуск. Поговорим про итоги года и десятилетия в области анализа и обработки данных. Какой была индустрия раньше, что она представляет сейчас и какие сюрпризы нас ждут в будущем, когда Илон Маск заменит людей огромными человекоподобными роботами. Ответы на все эти вопросы вы получите на нашем мероприятии.
Приходите! Будет полезно, интересно и весело!
Зарегистрироваться на мероприятие.
Под катом вас ждут описания докладов и расписание.
Читать полностью »
Почему так сложно выбрать, какое кино посмотреть (и что можно было бы сделать)
2019-08-09 в 4:29, admin, рубрики: gtd, Здоровье гика, Научно-популярное, нейросети, психология, рекомендательные системыЭто — ответ на пост на животрепещущую тему «что посмотреть». Автор сам напросился поднял правильный вопрос, но почему-то свел все к странной психологической аналогии «заедания стресса», заявив: «Пока вы сами не знаете, что хотите посмотреть — никто вам не поможет. Будете тупо смотреть ради психологического успокоения».
По-моему, такая постановка вопроса излишне спекулятивна. Да, она отчасти верна, в том плане, что просмотр кино — вещь спонтанная и изначально не предполагает серьезного умственного анализа в процессе этого развлечения.
Киану тоже задумался, какой из своих фильмов посмотреть
Но (все написанное далее — личное мнение автора и его рассуждения) как правило, лично я могу, пусть и в собственных терминах, объяснить, что именно я хочу от фильма. А раз есть личные критерии и хотя бы качественная их оценка, к тому же существуют формализованные понятия вроде «сценарий», «режиссура», «звук», которые тоже могут быть критериями, то уже возможно построить некую модель — в виде алгоритмов, классификатора или обучения с учителем.
Я не программист и не могу продемонстрировать некий работающий метод «вотпрямщас». Но я кинолюбитель, и постараюсь внятно сформулировать те способы осмысления и оценки кинофильмов, на которые можно обратить внимание, и сопутствующие проблемы, которые могут быть неочевидными, если их внятно не обозначить. Поскольку это ответ, теги-хабы поставил как в оригинальном посте, не бейте, пятница же.
Читать полностью »
Почему так сложно выбрать, какое кино посмотреть (и нейросети эту проблему не решат)
2019-08-05 в 17:28, admin, рубрики: gtd, Здоровье гика, искусственный интеллект, Научно-популярное, нейросети, психология, рекомендательные системыЗнакома ли вам ситуация: решили провести вечер дома и посмотреть какое-нибудь кино в хорошей компании, но, попытавшись определиться, какое — провели за выбором столько времени, что на кино его не осталось — или пропало желание — или, всё-таки, начали что-то смотреть, но настроение было уже не то?
Большинство людей списывают эту проблему на свою недостаточную осведомлённость о мире кино, и пытаются её решить с помощью разных подборок и рейтингов, либо спрашивая совета — а бизнесы, в свою очередь, стараются сделать то же самое, предлагая пользователям подборки и рейтинги, либо разрабатывая рекомендательные системы. Тем не менее, проблема никуда не желает деваться — и развитие рекомендательных систем только перекрасило её в другие тона: теперь пользователи, вместо того, чтобы спрашивать совета у знакомых и незнакомых в интернете, бесконечно листают ряды ярких постеров на Netflix (проблема-то глобальная) или каком-нибудь ivi. Бизнесы, тем временем, за отсутствием лучших идей, продолжают пытаться запихнуть кубик в замочную скважину, надеясь, что всё-таки сумеют сделать рекомендательную систему, которая научится-таки угадывать, чего хочет пользователь, который не знает, чего он хочет; правда, надежды разработчиков на коллективный разум уже не оправдались: призывать на помощь других пользователей не помогло — каталоги отзывов и сервисы вопросов-ответов только уменьшают боль, не избавляя от неё, — так что теперь все ставки на разум искусственный — уж ИИ-то точно должен раскусить этот орешек!
Не раскусит. Во-первых, нейросети — это не ИИ. Читать полностью »
Как мы внедрили ML в приложение с почти 50 миллионами пользователей. Опыт Сбера
2019-08-01 в 8:24, admin, рубрики: data mining, Алгоритмы, Блог компании Сбербанк, дизайн мобильных приложений, машинное обучение, ранжирование контента, рекомендательные системы, рекомендацииПривет! Меня зовут Николай, и я занимаюсь построением и внедрением моделей машинного обучения в Сбербанке. Сегодня расскажу о разработке рекомендательной системы для платежей и переводов в приложении на ваших смартфонах.
Дизайн главного экрана мобильного приложения с рекомендациями
У нас было 2 сотни тысяч возможных вариантов платежей, 55 миллионов клиентов, 5 различных банковских источников, полсолонки разработчиков и гора банковской активности, алгоритмов и всего такого, всех цветов, а ещё литр рандомных сидов, ящик гиперпараметров, пол-литра поправочных коэффициентов и две дюжины библиотек. Не то чтобы это всё было нужно в работе, но раз начал улучшать жизнь клиентов, то иди в своём увлечении до конца. Под катом история о сражении за UX, о правильной постановке задачи, о борьбе с размерностью данных, о вкладе в open-source и наших результатах.
Жадный подход и игровые автоматы. Разбор задач ML-трека чемпионата по программированию
2019-07-25 в 7:51, admin, рубрики: Блог компании Яндекс, Занимательные задачки, конкурсы, конкурсы разработчиков, математика, машинное обучение, многорукие бандиты, рекомендательные системы, Спортивное программирование, Яндекс.БлицМы продолжаем публиковать разборы задач, которые предлагались на недавнем чемпионате. На очереди — задачи, взятые из квалификационного раунда для специалистов по машинному обучению. Это третий трек из четырёх (бэкенд, фронтенд, ML, аналитика). Участникам нужно было сделать модель исправления опечаток в текстах, предложить стратегию игры на игровых автоматах, довести до ума систему рекомендаций контента и составить ещё несколько программ.
Машинное обучение vs. аналитический подход
2019-07-08 в 12:32, admin, рубрики: big data, data mining, kaggle, sna, Алгоритмы, алгоритмы обработки данных, анализ данных, анализ социальных сетей, Блог компании Школа Данных, искусственный интеллект, математика, машинное обучение, нейронные сети, нейросети, рекомендательные системы, Чат-боты, школа данныхКакое-то время назад мы нашли свои старые материалы, по которым обучали первые потоки на наших курсах машинного обучения в Школе Данных и сравнили их с теперешними. Мы удивились, сколько всего мы добавили и поменяли за 5 лет обучения. Осознав, почему мы это сделали и как, на самом деле, поменялся подход к решению задач Data Science, мы решили написать вот эту публикацию.Читать полностью »
YouTube ужесточает правила, чтобы защитить сообщество от педофилов
2019-06-09 в 6:12, admin, рубрики: cоциальные проблемы, рекомендательные системы, фильтрация контентаYouTube продолжает борьбу с педофилами, которые отыскивают на ресурсе видеоролики с детьми. В начале июня представители компании опубликовали отчет, где рассказали о мерах предосторожности, уже внедренных на данный момент, и отдельных нововведениях. Основным среди последних является ограничение на публикацию стримов для несовершеннолетних: теперь материалы без присутствия взрослых в кадре будут удаляться.
Читать полностью »
Rekko Challenge — как занять 2-е место в конкурсе по созданию рекомендательных систем
2019-06-04 в 17:32, admin, рубрики: LightGBM, python, tinkoff, машинное обучение, рекомендательные системыВсем привет. Моя команда в Тинькофф занимается построением рекомендательных систем. Если вы довольны вашим ежемесячным кэшбэком, то это наших рук дело. Также мы построили рекомендательную систему спецпредложений от партнеров и занимается индивидуальными подборками Stories в приложении Tinkoff. А еще мы любим участвовать в соревнованиях по машинному обучению чтобы держать себя в тонусе.
На Boosters.pro в течении двух месяцев с 18 февраля по 18 апреля проходило соревнование по построению рекомендательной системы на реальных данных одного из крупнейших российских онлайн-кинотеатров Okko. Организаторы преследовали цель улучшить существующую рекомендательную систему. На данный момент соревнование доступно в режиме песочницы, в которой вы можете проверить свои подходы и отточить навыки в построении рекомендательных систем.
Рекомендации в Okko: как заработать сотни миллионов, перемножив пару матриц
2019-06-03 в 8:37, admin, рубрики: luigi, Okko, pikachu, python, splunk, xgboost, Yota, Алгоритмы, Блог компании Okko, внутренняя империя, искусственный интеллект, машинное обучение, рекомендательные системыЗнакома ли вам ситуация, когда на выбор фильма вы тратите гигантское количество времени, сопоставимое со временем самого просмотра? Для пользователей онлайн-кинотеатров это частая проблема, а для самих кинотеатров — упущенная прибыль.
К счастью, у нас есть Rekko — система персональных рекомендаций, которая уже год успешно помогает пользователям Okko выбирать фильмы и сериалы из более чем десяти тысяч единиц контента. В статье я расскажу вам как она устроена с алгоритмической и технической точек зрения, как мы подходим к её разработке и как оцениваем результаты. Ну и про сами результаты годового A/B теста тоже расскажу.