Краудсорсинг в ML Boot Camp. Считаем mIOU без картинок для новой задачи от Одноклассников

в 16:01, , рубрики: big data, data mining, machine learning, Machine Learning Boot Camp, mail.ru, ML Boot Camp, Блог компании Mail.Ru Group, машинное обучение, ненормальное программирование

Привет! Лето — жаркое. Организаторы «айтишных» чемпионатов много сидели на солнце, сгорели и схватили удар, но главное — собрали новую задачу для очередного (уже девятого) контеста на платформе ML Boot Camp. Чемпионат пройдёт онлайн в течение месяца.

Краудсорсинг в ML Boot Camp. Считаем mIOU без картинок для новой задачи от Одноклассников - 1

Сейчас на платформе зарегистрировано более 10 тысяч специалистов. Часто бывает, что задачи, которые на ней появляются, не всем по зубам (богам Kaggle в том числе). Для чего мы это делаем? Нужно развиваться и пробовать, причем на реальных данных, а не синтетическом булшите. Победы придут со временем.

Задача, которую хотим предложить вам решить в этом соревновании, отличается от всех предыдущих. Тема задачи — это детектирование объектов на изображениях. Формулировка задачи подразумевает, что в наборе данных будут картинки, но, что забавно, их нет. И это не петабайты данных. И даже не гигабайты.

Тема популярная и, на самом деле, очень важная. В социальной сети Одноклассники, как и в других продуктах, существует задача фильтровать контент. Представьте, что ваш ребенок увидит не ту картинку — его мир навсегда изменится.

Два года назад Алексей Сенников написал статью про то, как Одноклассники привлекают своих пользователей к решению данной проблемы. Вкратце, в статье Алексей рассказал про игровое приложение «Модератор Одноклассников», в котором пользователи социальной сети классифицируют изображения на хорошие и плохие, получая за это различные плюшки, а также поделился способом решения задачи по увеличению DAU (Daily Active Users) приложения с помощью алгоритмов машинного обучения.

К слову, DAU сейчас у приложения 40 тысяч пользователей, и более 1’000’000 решений в день. Неплохо, да?

Задача нового контеста

В социальной сети Одноклассники есть платформа для разметки данных. На ней пользователям была дана задача выделить прямоугольником заданный объект на фотографии. По ответам людей восстановить истинное положение объекта.

Краудсорсинг в ML Boot Camp. Считаем mIOU без картинок для новой задачи от Одноклассников - 2

На входе вы получите краудсорсинговую разметку и данные в виде любимых всеми табличек. В ответ вы должны будете прислать просто файл с предсказаниями.

Датасет и бейзлайн будут опубликованы в день старта соревнования на ML Boot Camp.

Краудсорсинг в ML Boot Camp. Считаем mIOU без картинок для новой задачи от Одноклассников - 3

Для оценки решения будет использоваться метрика mIOU (mean intersection over union). Если еще не сталкивались с данной метрикой, то рекомендуем прочитать о ней статью.

Расписание

Чемпионат будет идти в онлайн формате. Стартуем 27 июня в 19:00, закрываем сабмиты 29 июля в 12:00. Итоги подводим тоже 29 июля в 13:00.

Все зарегистрированные пользователи на платформе получат напоминалку на почту. Регистрируйтесь или подписывайтесь на канал @mrgchamps. Попутно войдите в сообщество участников (чат @mlbootcamp на 1400 человек) в Telegram, чтобы точно быть в теме всего происходящего.

Подарки

   
Куда же без них. Во-первых, лучшие участники получат:

1 место: MacBook Pro 13', 2-ядерный процессор, 256 GB SSD, 16 RAM.
2 место: iPhone XS Max, 256 GB.
3 — 6 место: Apple Watch Series 3 42mm или Samsung Gear S3 Frontier на выбор.
7 — 10 место: Western Digital My Passport 4 TB.

Во-вторых, футболки с крутым принтом получат топ-30% пользователей от всего количества участников.

Литература

Для хорошего старта в чемпионате советуем прочитать статьи:

  1. Grouper: Optimizing Crowdsourced Face Annotations
  2. Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm

Приходите, участвуйте, учитесь и побеждайте!

Автор: sannikovdmitry

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js