В пятничном номере NY Times опубликована статья о значительных успехах, который демонстрируют в последние годы разработчики алгоритмов для самообучаемых нейросетей. В глубоких структурах есть несколько скрытых слоёв, которые традиционно тяжело было обучать. Но всё изменилось с использованием стека из машин Больцмана (RBM) для предварительной тренировки. После этого можно удобно перенастраивать веса, применяя метод обратного распространения ошибки (backpropagation). Плюс появление быстрых GPU — всё это привело к существенному прогрессу, который мы наблюдаем в последние годы.
Сами разработчики не делают громких заявлений, чтобы не поднимать ажотаж вокруг нейросетей — такой, как в 1960-е годы поднялся вокруг кибернетики. Тем не менее, можно говорить о возрождении интереса к исследованиям в этой области.
Исследования по нейросетям активно велись в 1960-е годы, затем эта сфера на некоторое время ушла в тень. Но в 2011-2012 годы показан ряд отличных результатов в области распознавания речи, компьютерного зрения и искусственного интеллекта. Вот некоторые последние успехи:
• В 2011 году на конкурсе по распознаванию дорожных знаков победила программа, созданная специалистами Swiss A. I. Lab из университета Лугано. На базе 50 тыс. изображений немецких дорожных знаков она показала результат 99,46%, опередив не только другие программы, но даже лучшего из 32 людей-участников конкурса (99,22%). Средний показатель для людей составил 98,84%. Нейросеть от Swiss A. I. Lab побеждала и на других конкурсах, в том числе на самое точное распознавание рукописных китайских иероглифов.
• Летом 2012 года специалисты Google подняли кластер из 16 тыс. компьютеров для самообучаемой нейросети, которая тренировалась на базе 14 млн картинок, соответствовавших 20 тыс. объектам. Хотя точность распознавания не очень высокая (15,8%), но она гораздо выше, чем у прежних систем аналогичного предназначения.
• В октябре 2012 году на конкурсе программного обеспечения Merck Molecular Activity Challenge для статистического анализа активности для разработки новых лекарств впервые победила программа, которая использует нейросети. Её разработала команда университета Торонто под руководством профессора Джеффри Хинтона (Geoffrey E. Hinton), известного эксперта по нейросетям.
• В ноябре 2012 года директор исследовательского подразделения Microsoft выступил на конференции Microsoft Research Asia’s 21st Century Computing в Китае с впечатляющей демонстрацией распознавания речи, синхронного перевода на китайский язык и синтеза речи в реальном времени на другом языке, его собственным голосом).
Считается, что именно вышеупомянутый Джеффри Хинтон ввёл в сферу обучения нейросетей метод обратного распространения ошибки (backpropagation), изобретённый в 1969 году, но малоизвестный до его работы.
Прорыв в обучении нейросетей произошёл после публикации в 2006 году научной статьи Хинтона и его коллеги Руслана Салахутдинова (Ruslan Salakhutdinov) “Reducing the Dimensionality of Data with Neural Networks”. Там он описал технику предварительной тренировки нейросети и последующей тонкой настройки с использованием стека машин Больцмана (RBM) и метода обратного распространения ошибки (backpropagation). Схематично эта техника показана на иллюстрации.
Марк Ватсон в своём блоге опубликовал пару ссылок на полезные ресурсы для начала обучения в этой области.
- Онлайновый курс Хинтона по нейросетям Neural Networks for Machine Learning на Coursera.
- Deep Learning Tutorial, очень большая презентация (pdf, 184 слайда), в которой приводится вся необходимая теоретическая база, математика и примеры кода на Python.
Автор: alizar
