Главная

Рубрика «deep learning» - 24

Как обучается ИИ

2016-07-12 в 9:41, admin, рубрики: deep learning, Блог компании Mail.Ru Group, будущее здесь, искусственный интеллект, мозг

Как обучается ИИ - 1
^{Источник изображения.}

Есть ли связь между трехглазой жабой и нейронными сетями? Что общего у программы, выигрывающей в го, и приложением Prisma, перерисовывающим фотографии под стили картин известных художников? Как компьютеры одолели нарды, а затем покусились на святое — и выиграли у человека в “Космических захватчиков”?
Дадим ответы на все эти вопросы, а еще поговорим о революции, связанной с глубоким обучением, благодаря которому удалось добиться прорыва во многих областях.
Читать полностью »

Решаем Hola Javascript Challenge с помщью LSTM

2016-06-23 в 7:38, admin, рубрики: deep learning, keras, LSTM, python, TensorFlow, машинное обучение, метки: keras, lstm

Вдохновлено недавним Hola Javascript Challenge. Упаковывать алгоритм в 64кб не будем, но зато точность получим пристойную.
Читать полностью »

Генерация программы из описания на естественном языке

2016-06-19 в 15:56, admin, рубрики: artificial intelligence, deep learning, development, будущее здесь, искусственный интеллект, Программирование

Генерация программы из описания на естественном языке - 1
Китайские ученые опубликовали исследование, которое является небольшим шажком к тому, чтобы ушла в небытие еще одна человеческая специальность — разработчик программного обеспечения. Ссылки: оригинал статьи (русский перевод).

Авторы исследования тренировали RNN-сеть, используя базу с короткими программами, которые писались студентами и были определены как валидные (путем запуска системой проверки заданий). Описания заданий были сокращены до такого: «найти максимальное и следующее за ним по величине число».

В результате был сгенерирован следующий код (стиль отступов и пунктуация «автора» сохранены без изменений):
Читать полностью »

Эволюция нейросетей для распознавания изображений в Google: Inception-ResNet

2016-06-14 в 7:17, admin, рубрики: cnn, deep learning, Google, image classification, microsoft, машинное обучение, обработка изображений

Буду потихоньку дорассказывать про Inception.
Предыдущая часть здесь — https://habrahabr.ru/post/302242/.
Мы остановились на том, Inception-v3 не выиграл Imagenet Recognition Challange в 2015-м, потому что появились ResNets (Residual Networks).

Что такое вообще ResNets?

Эволюция нейросетей для распознавания изображений в Google: Inception-ResNet - 1 Читать полностью »

Эволюция нейросетей для распознавания изображений в Google: Inception-v3

2016-05-31 в 6:03, admin, рубрики: cnn, deep learning, Google, image classification, машинное обучение, обработка изображений

Продолжаю рассказывать про жизнь Inception architecture — архитеткуры Гугла для convnets.
(первая часть — вот тут)
Итак, проходит год, мужики публикуют успехи развития со времени GoogLeNet.
Вот страшная картинка как выглядит финальная сеть:

Что же за ужас там происходит?

Читать полностью »

Эволюция нейросетей для распознавания изображений в Google: GoogLeNet

2016-05-18 в 7:07, admin, рубрики: cnn, deep learning, Google, image classification, машинное обучение, обработка изображений

У меня тут синхронизируется VM надолго, поэтому есть время рассказать про то, что я недавно читал.
Например, про GoogLeNet.
GoogLeNet — это первая инкарнация так называемой Inception architecture, которая референс всем понятно на что:

(кстати, ссылка на него идет первой в списке референсов статьи, чуваки жгут)

Она выиграла ImageNet recognition challenge в 2014-м году с результатом 6.67% top 5 error. Напомню, top 5 error — метрика, в которой алгоритм может выдать 5 вариантов класса картинки и ошибка засчитывается, если среди всех этих вариантов нет правильного. Всего в тестовом датасете 150K картинок и 1000 категорий, то есть задача крайне нетривиальна.

Чтобы понять зачем, как и почему устроен GoogLeNet, как обычно, немного контекста.

Читать полностью »

Заметки с MBC Symposium: еще о седловых точках

2016-05-04 в 5:21, admin, рубрики: deep learning, non-convex optimization, машинное обучение

Напоследок, о второй части доклада Surya Ganguli — как теоретическое понимание процесса оптимизации может помочь на практике, а именно, какую роль играют седловые точки (первая часть вот тут, и она совершенно необязательна для чтения дальше).

Читать полностью »

Заметки с MBC Symposium: попытки разобраться, почему работает deep learning

2016-05-02 в 0:02, admin, рубрики: category theory, deep learning, linear algebra, SVD, машинное обучение

Продолжаю рассказывать об интересных докладах на MBC Symposium (MBC, кстати, расшифровывается как Mind Brain Computation).

Surya Ganguli — человек из теоретического neuroscience, то есть, занимается тем, чтобы понять, как работает мозг, на основе измерений импульсов нейронов на различных уровнях.

И вот тут независимо от neuroscience в мире случается deep learning, и у нас получается некую искусственную систему чему-то научить.
В отличие от мозга, в котором у нас ограниченное разрешение, сложность с повторяемостью, итд итп, про deep network-то мы знаем абсолютно все, про все веса, про все состояния. Возникает вопрос — если мы собираемся разобраться, как работает мозг, может попробуем для начала понять как и почему работает вот такая маленькая система?

Без надежд, что мозг работает также, скорее с прицелом разработать какие-то методы, которые могут быть применимы потом.

Читать полностью »

BlackBox Challenge: Что внутри черного ящика?

2016-04-30 в 10:39, admin, рубрики: artificial intelligence, big data, blackbox challenge, cython, deep learning, machine learning, reinforcement learning, искусственный интеллект, машинное обучение, нейронные сети, обучение с подкреплением, Спортивное программирование, метки: blackbox challenge

Всем привет!

Сегодня речь пойдет о состязании, в области машинного обучения, BlackBox Challenge, а также о самом черном ящике, механизмах его работы, изменения состояний, начисления вознаграждений и конечно о том, что же там внутри.
Чуть ниже я опубликую решение, входящее, на момент публикации, в 5-ку лучших.
Уверен оно поможет другим участникам улучшить свои результаты, а возможно и отыскать новый подход.

BlackBox Challenge: Что внутри черного ящика? - 1
Читать полностью »