Привет, в одной из последних лекций по нейронным сетям на курсере речь шла о том, как можно улучшить сходимость алгоритма обратного распространения ошибки в общем, и в частности рассмотрели модель, когда каждый вес нейрона имеет свою собственную скорость обучения (neuron local gain). Я давно хотел реализовать какой нибудь алгоритм, который бы автоматически настраивал бы скорость обучения сети, но все лень руки не доходили, а тут вдруг такой простой и незамысловатый способ. В этой небольшой статье я расскажу про эту модель и приведу несколько примеров того, когда эта модель может быть полезна.
Рубрика «нейронные сети» - 47
Локальная скорость обучения весов нейронов в алгоритме обратного распространения ошибки
2012-11-02 в 15:38, admin, рубрики: data mining, Алгоритмы, анализ данных, искусственный интеллект, нейронные сети, обратное распространение ошибки, обучение, метки: data mining, анализ данных, искусственный интеллект, нейронные сети, обратное распространение ошибки, обучениеБесплатный MATLAB для студентов онлайн курсов
2012-10-15 в 19:28, admin, рубрики: Matlab, octave, искусственный интеллект, математика, нейронные сети, образование, онлайн-курсы, Учебный процесс в IT, халява студентам, метки: Matlab, octave, нейронные сети, образование, онлайн-курсы, халява студентам
Буду краток. Компания Matlab сделала шаг навстречу удаленному обучению и предоставила свой продукт бесплатно скачать торрент без смс для студентов Courcera.
Читать полностью »
Алгоритм обратного распространения ошибки с регуляризацией на c#
2012-10-15 в 11:39, admin, рубрики: .net, data mining, алгоритм, искусственный интеллект, нейронные сети, обратное распространение ошибки, регуляризация, метки: c++, алгоритм, искусственный интеллект, нейронные сети, обратное распространение ошибки, регуляризацияПривет. Я хочу продолжить тему реализации методов машинного обучения на c#, и в этой статье я расскажу про алгоритм обратного распространения ошибки для обучения нейронной сети прямого распространения, а также приведу его реализацию на языке C#. Особенность данной реализации в том, что реализация алгоритма абстрагирована от реализаций целевой функции (той, которую нейросеть пытается минимизировать) и функции активации нейронов. В итоге получится некий конструктор, с помощью которого можно поиграться с различными параметрами сети и алгоритма обучения, посмотреть и сравнить результат. Предполагается, что вы уже знакомы с тем, что такое искусственная нейросеть (если нет, то настоятельно рекомендую для начала изучить википедию или одну из подобных статей). Интересно? Лезем под кат.
Стресс и нейронные сети: почему лучше не нервничать
2012-08-20 в 8:00, admin, рубрики: Научно-популярное, нейронные сети, Стресс, Эмоции, метки: нейронные сети, Стресс, ЭмоцииЗа свою жизнь я сталкивался с десятками публикаций и книг, посвященных преодолению стрессов и эмоциональной реактивности. Обычно в таких материалах большое внимание уделяется избавлению от нервного напряжения, в то время как вред, наносимый организму во время стрессов, практически не описывается.
Даже Карнеги в свое время пытался с медицинской точки зрения описать вред, получаемый организмом от излишних переживаний, однако он не продвинулся дальше его краткой характеристики. В книге «Как перестать нервничать и начать жить» автор ссылается на результаты исследований, которые показали, что нервные люди чаще других умирают от инсультов, инфарктов и страдают от язвы желудка. Довольно убедительно, но информации все равно недостаточно.
Читать полностью »
PyBrain работаем с нейронными сетями на Python
2012-07-24 в 17:18, admin, рубрики: pybrain, python, Алгоритмы, искусственный интеллект, машинное обучение, нейронные сети, метки: pybrain, python, машинное обучение, нейронные сети
В рамках одного проекта столкнулся необходимостью работать с нейронными сетями, рассмотрел несколько вариантов, больше всего понравилась PyBrain. Надеюсь её описание будет многим интересно почитать.
PyBrain — одна из лучших Python библиотек для изучения и реализации большого количества разнообразных алгоритмов связанных с нейронными сетями. Являет собой хороший пример удачного совмещения компактного синтаксиса Python с хорошей реализацией большого набора различных алгоритмов из области машинного интеллекта.
Предназначен для:
- Исследователей — предоставляет единообразную среду для реализации различных алгоритмов, избавляя от потребности в использовании десятков различных библиотек. Позволяет сосредоточится на самом алгоритме а не особенностях его реализации.
- Студентов — с использованием PyBrain удобно реализовать домашнее задание, курсовой проект или вычисления в дипломной работе. Гибкость архитектуры позволяет удобно реализовывать разнообразные сложные методы, структуры и топологии.
- Лекторов — обучение методам Machine Learning было одной из основных целей при создании библиотеки. Авторы будут рады, если результаты их труда помогут в подготовке грамотных студентов и специалистов.
- Разработчиков — проект Open Source, поэтому новым разработчикам всегда рады.
Иллюзия реальности, записки о человекостроении
2012-07-01 в 19:54, admin, рубрики: мозг, нейронные сети, Песочница, философия, метки: Мозг, нейронные сети, философия
Это моя вольная интерпретация накопленных на данный момент знаний как непосредственно из нейрофизиологии и смежных наук, так и при конструировании динамических нейросетей.
У мозга есть отдаленное сходство с машинами виртуализации. Например в том, что он способен симулировать в себе поведение окружающих динамических сущностей, начиная со своего обладателя. Его элементы идеально подходят для такой симуляции, как и элементы FPGA. И сама эта симуляция или отражение — происходит непрерывно и автоматически, по мере открытия «новых граней» объекта и в чем-то предвосхищая или прогнозируя их.
Базовые принципы алгоритмов обучения Hierarchical Temporal Memory
2012-06-23 в 9:42, admin, рубрики: numenta, ИИ, искусственный интеллект, нейронные сети, метки: numenta, ИИ, нейронные сети Доброго времени суток!
В последнее время на хабре довольно часто появляются статьи, в которых авторы описывают современные теории и подходы к построению искусственного интеллекта и нейронных сетей. Однако примеров конкретной реализации приводится довольно скудное количество. Попробуем восполнить этот пробел. В данной статье я опишу только основные теоретические и практические моменты, использованные при написании рабочего макета алгоритмов, предоставленных Numenta Inc.
Читать полностью »
Нейронные сети с рефлексией
2012-06-20 в 14:00, admin, рубрики: искусственный интеллект, мышление, нейронные сети, метки: мышление, нейронные сетиНедавно меня пригласили выступить на TEDx, я постарался популярно рассказать о современном положении дел в ИИ, и помимо этого изложил суть тех нейронных сетей, над которыми мы сейчас работаем (см. видео).
Поскольку доклад был сугубо популярный, никаких подробностей я там не представил, но модель обладает интересными свойствами, о которых я хочу рассказать детальнее.
Структура сети
За основу была взята широкоизвестная сеть Хопфилда, но в нее помимо основных связей от каждого нейрона к каждому (которые технически можно считать связями с задержкой в один такт), были добавлены дополнительные связи с задержками более 1го такта (практически исследовались задержки на 2-8 тактов).Читать полностью »
Формирование высокоуровневых признаков с помощью широкомасштабного эксперимента по обучению без учителя
2012-06-19 в 6:42, admin, рубрики: Алгоритмы, искусственный интеллект, нейронные сети, обработка изображений, обучение без учителя, распознавание лиц, метки: нейронные сети, обучение без учителя, распознавание лиц В статье Распознавание лиц человеческим мозгом: 19 фактов, о которых должны знать исследователи компьютерного зрения упоминался экспериментальный факт: в мозге примата имеются нейроны, селективно реагирующие на изображение морды лица (человека, обезьяны и т.п.), причем средняя задержка составляет около 120 мс. Из чего в комментарии я сделал дилетантский вывод о том, что зрительный образ обрабатывается прямым распространением сигнала, и количество слоёв нейронной сети — около 12.
Предлагаю новое экспериментальное подтверждение этого факта, опубликованное concretely нашим любимым Andrew Ng.
Читать полностью »
Нейросети для чайников. Часть 2 — Перцептрон
2012-05-30 в 10:30, admin, рубрики: Алгоритмы, нейрон, нейронные сети, Программирование, метки: нейрон, нейронные сети, Программирование
В предыдущей статье были рассмотрены самые азы для понимания темы нейронных сетей. Полученная система не являлась полноценной нейронной сетью, а несла просто ознакомительный характер. Принимающими решения механизмами в ней были «черные ящики», не описанные подробно.
Вот о них речь и пойдет в рамках данной статьи. Результатом статьи будет полноценная нейронная сеть из одного перцептрона, умеющая распознавать входные данные и позволяющая себя обучать.
Язык программирования, на этот раз — C#.
Заинтересовавшихся прошу под кат.
Читать полностью »