Всем привет. Меня зовут Владислав Козлов, я тимлид аналитиков в кластере Антифрод в Авито. В наши задачи входит разработка подходов к противодействию недобросовестным пользователям. Хочу поделиться с вами опытом оформления исследовательских проектов, который помогает нам сохранять своё и чужое душевное равновесие.
Рубрика «воспроизводимость исследований»
Путь к миру без страданий: как оформить исследовательский проект
2025-01-16 в 15:18, admin, рубрики: аналитика данных, воспроизводимость исследований, методология исследований, организация процессов, оформление аналитического проекта, оформление кодаDeep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории
2019-12-17 в 7:11, admin, рубрики: big data, computer science, data science, open source, reproducibility crisis, воспроизводимость исследований, воспроизводимость статей, искусственный интеллект, машинное обучение, Научно-популярное, статьи без кода
Я мирно сидел на семинаре, слушал доклад студента о статье с прошлого CVPR и параллельно гуглил тему.
— К достоинствам статьи можно отнести наличие исходного кода….
Пришлось вмешаться:
— Наличие чего, простите?
— Э-э-э… Исходного кода…
— Вы его смотрели?
— Нет, но в статье указано…
(мать-мать-мать… привычно отозвалось эхо)
ㅡ Вы ходили по ссылке?
В статье, действительно, предельно обнадеживающе написано: “The code and model are publicly available on the project page …/github.io/...”, — однако в коммите двухлетней давности по ссылке значится вдохновляющее «Код и модель скоро выложим»:
Ищите и обрящете, стучите и откроется… Может быть… А может быть и нет. Я бы, исходя из печального опыта, ставил на второе, поскольку ситуация в последнее время повторяется ну уж о-о-очень часто. Даже на CVPR. И это только часть проблемы! Исходники могут быть доступны, но, к примеру, только модель, без скриптов обучения. А могут быть и скрипты обучения, но за несколько месяцев с письмами к авторам не получается получить такой же результат. Или за год на другом датасете с регулярными скайп-звонками автору в США не удается воспроизвести его результат, полученный в наиболее известной лаборатории в отрасли по этой теме… Трындец какой-то.
И, судя по всему, мы пока видим лишь цветочки. В ближайшее время ситуация кардинально ухудшится.
Кому интересно, что стало со студентом куда катится научный мир, в том числе по «вине» глубокого обучения, добро пожаловать под кат!
Читать полностью »