Сейчас почти никакие публичные мероприятия не проходят, но мы надеемся, что скоро ситуация изменится (и прикладываем к этому усилия). Мы ждём, что перенесённые события пройдут в другие даты, а будущие — не отменятся, поскольку в их отмене не будет необходимости. В том числе в 2020 году должны пройти десятки больших конференций по машинному обучению.
NeurIPS (бывшая NIPS) считается самой престижной из них. Каждый год NeurIPS собирает тысячи исследователей и инженеров, которые представляют свои научные результаты в разных областях ML: глубоком обучении, обучении с подкреплением, масштабируемой оптимизации, байесовских методах и другом.
По мотивам прошедшей несколько месяцев назад в Ванкувере NeurIPS мы провели дискуссию, куда пригласили экспертов из научного мира и мира IT. Каждый из них интересуется разными вещами в машинном обучении, опыт посещения NeurIPS тоже разный. Под катом — краткая выжимка тех частей дискуссии, которые относятся к причинам посетить конференцию.
Участники
Дмитрий Ветров. Кандидат физ.-мат. наук, профессор-исследователь факультета компьютерных наук Вышки, завлабораторией Samsung в Вышке и преподаватель ШАДа. Автор более 130 научных работ. Дима неоднократно выступал c публикациями на топовых ML-конференциях, включая NeurIPS. Был на конференции пять раз, начиная с 2011 года: как докладчик и как участник.
Михаил Бурцев. Кандидат физико-математических наук, заведующий лабораторией нейронных систем и глубокого обучения МФТИ. Соавтор более чем 20 научных работ. С 2017 года проводит соревнования по диалоговым системам на NeurIPS, интересуется всем, что связано с разговорным искусственным интеллектом.
Сергей Колесников Scitator. R&D lead в Тинькофф, project lead в Catalyst, исследователь в Яндексе и МФТИ. Последние пять лет занимается DL и RL. На NeurIPS впервые побывал в 2019 году.
Михаил Биленко. Руководитель управления машинного интеллекта и исследований в Яндексе, раньше работал в Microsoft. Область интересов — распределённое обучение. Участвует в NeurIPS с 2005 года, пропустил её лишь трижды.
Константин Лахман klakhman. Руководитель отдела компьютерного зрения и ML-приложений в Яндексе. Интересуется CV и NLP. Ездит на NeurIPS каждый год, начиная с 2014-го.
Алексей Натёкин natekin. Создатель и диктатор Open Data Science (ODS) — крупнейшего в СНГ онлайн-сообщества дата-саентистов. Сфера интересов в ML — meta learning, federated learning, transfer learning и всё, что лежит вокруг авто-ML. Впервые поехал на NeurIPS в 2016 году, два раза был участником и два раза помогал в организации соревнований.
Отдых с математико-инженерной нагрузкой
Зачем вы ездите на NeurIPS?
Сергей Колесников:
Последние три года я продвигаю RL, это одна из причин, почему я хотел туда попасть. Я выигрывал соревнования, меня приглашали, но сделать визу за месяц в Канаду сложно. А в 2019-м я наконец-то дорвался: осталась виза с прошлого NeurIPS, которую делали полгода. Это история успеха и трёх пропущенных виз.
Михаил Биленко:
Там я нахожу статьи и людей, которых не нашёл бы иначе, общаюсь с коллегами. В 2016 году я ездил на NeurlPS не по работе, как раз тогда мы познакомились с Костей Лахманом. Конференция — это отличный инженерно-научный туризм: отдых, но с математико-инженерной нагрузкой. Позволяет не растолстеть, поправить форму и быть в тонусе. Можно не отвлекаться на рабочие задачи — ты просто получаешь чистое интеллектуальное удовольствие.
Дмитрий Ветров:
Когда я был моложе и умнее, я ездил, чтобы узнать новые направления и новые техники машинного обучения. Спустя лет десять стало казаться, что доклады уже не такие крутые, и скоро я ничего ценного для себя узнать не смогу. Но до сих пор каждый раз увожу с конференции много интересного — то, что не прочесть на arXiv.
Михаил Бурцев:
Присоединяюсь к Диме. С одной стороны, вроде бы странно приехать и послушать то, о чём ты давно читал. С другой, конференция помогает обратить внимание на работы, которые ты, возможно, не заметил. Общаясь с другими людьми, можно получить совершенно новый взгляд на свою работу, увидеть то, чего раньше самостоятельно не видел. И в отличие от статей, здесь люди ещё обсуждают то, что они делают сейчас или планируют делать. Это помогает скорректировать курс своей работы, не совершить ошибок. Можно внезапно выяснить, что не нужно делать то, что собирался.
Константин Лахман:
Помимо нетворкинга есть ещё один важный момент — конференция помогает сверяться с тем, куда ветер дует. Когда NIPS была чуть меньше, то направление ветра было более понятным. Сначала ветер дул в паруса сетей GAN, потом в паруса NLP, потом в RL.
Сейчас иногда возникает ощущение, что ветер дует во все паруса одновременно, только не так сильно. Тем не менее, полезно себя сравнивать с тем, что происходит в мире в твоей сфере. Соответствовать необязательно, но сравнивать интересно.
Современная наука устроена так, что отрицательные результаты не публикуются. Публикуются только положительные, к сожалению. Такие конференции — отличный способ узнать, что и почему не сработало.
Алексей Натёкин:
Есть средняя температура по палате: о чём говорят на самой конференции и о чём в кулуарах на афтепати. Закулисные разговоры, пожалуй, интереснее тех, что в зале. Нечто по-настоящему новое можно найти в основном на воркшопах, потому что заявки на участие в них подаются за месяц, а заявки на участие в самой конференции — за полгода.
Из года в год конференция растёт и немного меняется, но ничего принципиально нового не добавляется. Не кажется ли вам, что научной новизны становится меньше?
Дмитрий Ветров:
Процитирую Аксиому Коула: «Сумма разума на планете — величина постоянная, а население постоянно растёт». Мне кажется, что научная новизна на конференции — тоже величина постоянная, а конференций становится всё больше и больше. Поэтому, на мой взгляд, средний уровень докладов на NeurIPS падает.
Михаил Биленко:
Дима правильно сказал, но для меня всегда важно вынести что-то полезное из того процента материала, что по-прежнему остаётся интересным. Есть закон Старджона о том, что 90% всего — полная чушь. Я фокусируюсь на оставшихся десяти. А в количественном соотношении ерунды стало больше, согласен.
Константин Лахман:
Мне, кстати, кажется, что с NeurlPS происходит не так, как со всеми конференциями. В силу административных рамок она пытается быть таким заповедником, где искусственно поддерживается минимально необходимая популяция всех областей. Конференции по CV устроены иначе: нет работ по какой-то теме — хорошо, много работ по другой теме — тоже хорошо.
Михаил Биленко:
Я несколько лет был в программном комитете NeurIPS, и всё-таки на самом деле там довольно органичное распределение областей. Давайте не будем порождать теории заговора.
Академия и IT-компании
Насколько на NeurlPS видна проблема того, что модели надо учить на тоннах GPU, и это могут себе позволить компании, а не академия?
Михаил Биленко:
В последние несколько лет организаторы проводят открытую встречу. На ней академики говорят, что товарищи из больших IT-компаний пишут статьи только за счёт того, что у них крутое железо и они могут проводить гигантские эксперименты. Наши ресурсы и правда не равны. Так появляются высокие требования к тому, чтобы результаты были репродуцируемы.
Вопрос к учёным. Как вы относитесь к тому, что на конференцию приезжает много людей из индустрии, которые слушают доклады, общаются, но сами ничего нового не привносят?
Дмитрий Ветров:
Я испытываю огромный кайф, когда могу рассказать о том, что сделал, большому количеству людей — неважно, учёным или специалистам из индустрии. Главное, чтобы им нравилась моя работа так же, как учёным.
Михаил Бурцев:
Мне тоже неважно, кто из индустрии, а кто из учёных — тем более, что сейчас многие учёные перешли в индустрию, и всё перемешалось. Важно, чтобы с человеком было интересно пообщаться. В этом плане мне больше нравятся воркшопы — там круг людей ограничен и есть больше возможностей для общения.
Всегда есть некий разрыв между тем, что делает наука, и тем, что идёт в продакшен. Насколько представленные на конференции статьи близки к тому, что можно быстро выкатить в продакшен?
Константин Лахман:
Некорректно так говорить про NeurIPS, потому что исконно на ней нет практически ничего, что можно сразу применить в продакшене. Бюджет конференции складывается из взносов от спонсоров и от участников. Большинство участников — из индустрии. Получается, за научную конференцию платят IT-компании. И это поднимает интересный вопрос — должно ли научное сообщество как-то это учитывать? За его работу в большей степени платит индустрия. Может, ему тоже нужно чем-то помогать индустрии?
NeurlPS — это про поиск вдохновения и понимание, куда развивается машинное обучение.
Сергей Колесников:
Да, NeurIPS интересен именно тем, что за одну неделю ты успеваешь поговорить с большим количеством людей, можешь погрузиться в разные индустриальные и академические кейсы, получить широкий взгляд на всё происходящее. Все идеи оттуда можно сложить в чёрный ящик и потом периодически его открывать. А на следующей конференции уже проверить, что сработало, а что нет. В этом плане божественно.
Топ ML-конференций
Если бы вы могли поехать только на две конференции в году, что бы вы выбрали?
Алексей Натёкин:
Data Fest и Data Fest в Минске!
Константин Лахман:
NeurIPS и CVPR.
Михаил Бурцев:
NeurIPS и NLP.
Михаил Биленко:
ICML и NeurlPS.
Сергей Колесников:
NeurlPS и Data Fest.
Дмитрий Ветров:
ICML и NeurlPS. Поменяем их местами, когда на NeurlPS не будет пробок из людей!
Автор: Леонид Клюев
