Переобучение (overfitting) — одна из проблем глубоких нейронных сетей (Deep Neural Networks, DNN), состоящая в следующем: модель хорошо объясняет только примеры из обучающей выборки, адаптируясь к обучающим примерам, вместо того чтобы учиться классифицировать примеры, не участвовавшие в обучении (теряя способность к обобщению). За последние годы было предложено множество решений проблемы переобучения, но одно из них превзошло все остальные, благодаря своей простоте и прекрасным практическим результатам; это решение — Dropout (в русскоязычных источниках — “метод прореживания”, “метод исключения” или просто “дропаут”).
Читать полностью »
Рубрика «deep learning» - 19
Dropout — метод решения проблемы переобучения в нейронных сетях
2017-06-14 в 11:38, admin, рубрики: big data, deep learning, dropout, neural networks, overfitting, wunder fund, wunderfund, Алгоритмы, Блог компании Wunder Fund, машинное обучение, метки: dropoutПоддержка исследователей в области Deep Learning
2017-06-13 в 13:35, admin, рубрики: big data, data mining, deep learning, gpu, бесплатно, Блог компании New Professions Lab, конкурс, машинное обучение, обработка изображенийХабр, нам тут пришла одна идея… В настоящий момент у нас возникло некое межсезонье между разными образовательными программами. Мы подумали, зачем нашей инфраструктуре зря простаивать, когда есть люди, которые могли бы на этой инфраструктуре что-то классное сделать.
Мы решили сделать небольшой вклад в развитие deep learning в России и выделить 3 виртуальных сервера с GPU тем, кто что-то делает в этой области. 2 виртуалки мы решили отдать нашим выпускникам, а 1 виртуалку дать в пользование кому-то «со стороны».

Обзор исследований в области глубокого обучения: обработка естественных языков
2017-06-05 в 12:54, admin, рубрики: deep learning, gru, LSTM, machine learning, natural language processing, neural networks, RNN, wunder fund, wunderfund, Блог компании Wunder Fund, машинное обучениеЭто третья статья из серии “Обзор исследований в области глубокого обучения” (Deep Learning Research Review) студента Калифорнийского университета в Лос-Анджелесе Адита Дешпанда (Adit Deshpande). Каждые две недели Адит публикует обзор и толкование исследований в определенной области глубинного обучения. В этот раз он сосредоточил свое внимание на применении глубокого обучения для обработки текстов на естественном языке.
Читать полностью »
Intel открывает доступ к clDNN [высокопроизводительной библиотеке для глубокого обучения]
2017-05-25 в 15:25, admin, рубрики: 1сloud, clDNN, deep learning, intel, open source, Блог компании 1cloud.ruОфициальный репозиторий проекта был запущен буквально пару дней назад. Расскажем немного подробнее об этой новости и приведем полезные источники по теме.
Подборка штук на основе искусственного интеллекта для личного использования (1-3)
2017-05-12 в 14:02, admin, рубрики: artificial intelligence, deep learning, machine learning, Блог компании Dato ML, машинное обучениеИскусственный интеллект и четвёртая промышленная революция (wiki) достигли значительного прогресса за последние несколько лет. Большинство из того, что можно использовать уже сейчас, разрабатывается для коммерческих и промышленных целей, как вы увидите в следующих постах. Научно-исследовательские институты и специализированные компании работают над достижением конечной цели создания ИИ (а именно, создание сильного искусственного интеллекта artificial general intelligence), разрабатывая открытые платформы и исследуя появившиеся этические вопросы. Существуют также несколько компаний, разрабатывающих ИИ-продукты для конечных потребителей, их мы и рассмотрим в рамках этого поста.
Создание искусственного интеллекта — это как взбираться на дерево, пытаясь добраться до Луны. Можно сообщать о стабильном прогрессе, вплоть до самой вершины дерева.
Видеозапись вебинара «Julia — A fresh approach to numerical computing and data science»
2017-04-29 в 8:38, admin, рубрики: big data, BigData, data mining, data science, deep learning, FlyElephant, gpu, HPC, Julia, machine learning, mpi, xeon phi, Блог компании FlyElephant, вебинар, машинное обучениеКоманда FlyElephant в марте проводила вебинар с со-основателем и CEO в Julia Computing, а также со-автором языка Julia — Viral B. Shah, на тему "Julia — A fresh approach to numerical computing and data science".
Библиотеки для глубокого обучения: Keras
2017-04-20 в 11:09, admin, рубрики: data mining, deep learning, keras, machine learning, neural network, ods, open data science, python, TensorFlow, theano, Блог компании Open Data Science, математика, машинное обучениеПривет! Мы уже говорили про Theano и Tensorflow (а также много про что еще), а сегодня сегодня пришло время поговорить про Keras.
Изначально Keras вырос как удобная надстройка над Theano. Отсюда и его греческое имя — κέρας, что значит "рог" по-гречески, что, в свою очередь, является отсылкой к Одиссее Гомера. Хотя, с тех пор утекло много воды, и Keras стал сначала поддерживать Tensorflow, а потом и вовсе стал его частью. Впрочем, наш рассказ будет посвящен не сложной судьбе этого фреймворка, а его возможностям. Если вам интересно, добро пожаловать под кат.

Библиотека глубокого обучения Tensorflow
2017-04-13 в 11:37, admin, рубрики: deep learning, machine learning, neural networks, ods, open data science, python, TensorFlow, Алгоритмы, Блог компании Open Data Science, математика, машинное обучениеЗдравствуй!
Цикл статей по инструментам для обучения нейронных сетей продолжается обзором популярного фреймворка Tensorflow.
Kaggle: Британские спутниковые снимки. Как мы взяли третье место
2017-04-07 в 11:00, admin, рубрики: deep learning, image segmentation, kaggle, machine learning, ods, open data science, python, Алгоритмы, Блог компании Open Data Science, глубокое обучение, машинное обучение, нейронные сети, обработка изображений
Сразу оговорюсь, что данный текст — это не сухая выжимка основных идей с красивыми графиками и обилием технических терминов (такой текст называется научной статьей и я его обязательно напишу, но потом, когда нам заплатят призовые $20000, а то, не дай бог, начнутся разговоры про лицензию, авторские права и прочее). К моему сожалению, пока устаканиваются все детали, мы не можем поделиться кодом, который написали под эту задачу, так как хотим получить деньги. Как всё утрясётся — обязательно займемся этим вопросом.
Так вот, данный текст — это скорее байки по мотивам, в которых, с одной стороны, всё — правда, а с другой, обилие лирических отступлений и прочей отсебятины не позволяет рассматривать его как что-то наукоемкое, а скорее просто как полезное и увлекательное чтиво, цель которого показать, как может происходить процесс работы над задачами в дисциплине соревновательного машинного обучения. Кроме того, в тексте достаточно много лексикона, который специфичен для Kaggle и что-то я буду по ходу объяснять, а что-то оставлю так, например, вопрос про гусей раскрыт не будет.
Читать полностью »
Быстрый старт: обзор основных Deep Learning фреймворков
2017-04-06 в 11:02, admin, рубрики: big data, caffe, data mining, deep learning, keras, microsoft CNTK, paddle, TensorFlow, theano, torch, Блог компании New Professions Lab, машинное обучениеПривет! Предлагаем вам перевод поста “Getting Started with Deep Learning” от Мэтью Рубашкина из Silicon Valley Data Science о преимуществах и недостатках существующих Deep Learning технологий и о том, какой фреймворк выбрать, учитывая специфику задачи и способности команды.
