H2O – библиотека машинного обучения, предназначенная как для локальных вычислений, так и с использованием кластеров, создаваемых непосредственно средствами H2O или же работая на кластере Spark. Интеграция H2O в кластеры Spark, создаваемые в Azure HDInsight, была добавлена недавно и в этой публикации (являющейся дополнением моей прошлой статьи: R и Spark) рассмотрим построение моделей машинного обучения используя H2O на таком кластере и сравним (время, метрика) его с моделями предоставляемых sparklyr, действительно ли H2O киллер-приложение для Spark?
Рубрика «машинное обучение» - 190
R c H2O на Spark в HDInsight
2017-08-07 в 6:50, admin, рубрики: "вода, azure, big data, h2o, hdinsight, Microsoft Azure, ml, R, spark, вода, высокая производительность, кругом вода", машинное обучениеОграничения глубинного обучения и будущее
2017-08-07 в 5:48, admin, рубрики: AlphaGo, AutoML, DeepMind, python, абстракция, антропоморфизация, апокалипсис, генерация нейросетей, глубинное обучение, градиентный спуск, ИИ, машинное обучение, нейросеть, обобщения, обратное распространение, Программирование, программный синтез, разум, рассуждения, сильный ИИ, Сингулярность, функция потерь
Эта статья представляет собой адаптацию разделов 2 и 3 из главы 9 моей книги «Глубинное обучение с Python» (Manning Publications).
Статья рассчитана на людей, у которых уже есть значительный опыт работы с глубинным обучением (например, тех, кто уже прочитал главы 1-8 этой книги). Предполагается наличие большого количества знаний.
Ограничения глубинного обучения
Глубинное обучение: геометрический вид
Самая удивительная вещь в глубинном обучении — то, насколько оно простое. Десять лет назад никто не мог представить, каких потрясающих результатов мы достигнем в проблемах машинного восприятия, используя простые параметрические модели, обученные с градиентным спуском. Теперь выходит, что нужны всего лишь достаточно большие параметрические модели, обученные на достаточно большом количестве образцов. Как сказал однажды Фейнман о Вселенной: «Она не сложная, её просто много».
Читать полностью »
Лекция Владимира Игловикова на тренировке Яндекса по машинному обучению
2017-08-06 в 14:18, admin, рубрики: data science, jaccard, kaggle, object detection, ods, Блог компании Яндекс, классификация, конкурс, машинное обучение, нейронные сети, ненормальное программирование, Спортивное программированиеСкорее всего, вы слышали об авторе этой лекции. Владимир ternaus Игловиков занял второе место в британском Data Science Challenge, но организаторы конкурса не стали выплачивать ему денежный приз из-за его российского гражданства. Затем наши коллеги из Mail.Ru Group взяли выплату приза на себя, а Владимир, в свою очередь, попросил перечислить деньги в Российский Научный Фонд. История получила широкий охват в СМИ.
Спустя несколько недель Владимир выступил на одной из тренировок Яндекса по машинному обучению. Он рассказал о своём подходе к участию в конкурсах, о сути Data Science Challenge и о решении, которое позволило ему занять второе место.
37 причин, почему ваша нейросеть не работает
2017-08-05 в 8:06, admin, рубрики: NaN, аугментация, машинное обучение, недообучение, нейросеть, нормализация, обработка изображений, отладка, ошибки нейросети, переобучение, регуляризацияСеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.
Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?
Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же проверки. Здесь я собрал в удобный список свой опыт вместе с лучшими идеями коллег. Надеюсь, этот список будет полезен и вам.
Читать полностью »
Не пропустите крупнейшее мероприятие Google для разработчиков в Европе
2017-08-04 в 12:21, admin, рубрики: android, android development, Google, Google Chrome, Google Play, iOS, ios development, mobile development, mobile first, open source, web-разработка, Блог компании Google, конференции, конференция для разработчиков, машинное обучение, Разработка под android
Напоминаем, 5 и 6 сентября в польском городе Краков пройдет одно из крупнейших событий для разработчиков Европы — Google Developer Days. Начинающие специалисты и опытные профессионалы смогут поучаствовать в обучающих семинарах и мастер-классах, узнать о последних тенденциях в мире технологий, а также пообщаться с разработчиками и экспертами из разных уголков Европы.
В Центральной и Восточной Европе более миллиона высококвалифицированных разработчиков. Каждый год суммарно в Польше, Украине, Чехии, Словакии и России из университетов выпускаются больше IT-специалистов, чем в США. Именно поэтому, нам кажется, что Краков — идеальный город для европейского Google Developer Days.
На сайте уже доступно расписание мероприятия на английском языке. Если вы собираетесь приехать в Краков или подключаться к нашим прямым трансляциям, то можете заранее выбрать наиболее интересные для себя сессии.
Поиск лучшего места в мире для ветряка
2017-08-04 в 8:36, admin, рубрики: azure, big data, data mining, machine learning, renewable energy, wind energy, Геоинформационные сервисы, машинное обучение, открытые данные, сечин, метки: renewable energyИстория о том, как NASA, ESA, Датский Технологический Университет, нейронные сети, деревья решений и прочие хорошие люди помогли найти мне лучший бесплатный гектар на Дальнем Востоке, а также в Африке, Южной Америке и других “так себе” местах.
Как ввести в заблуждение компьютер: коварная наука обмана искусственного интеллекта
2017-08-03 в 15:27, admin, рубрики: искусственный интеллект, машинное обучение, нейросети
В начале XX века Вильгельм фон Остин, немецкий тренер лошадей и математик, объявил миру, что научил лошадь считать. Годами фон Остин путешествовал по Германии с демонстрацией этого феномена. Он просил свою лошадь по кличке Умный Ганс (породы орловский рысак), подсчитывать результаты простых уравнений. Ганс давал ответ, топая копытом. Два плюс два? Четыре удара.
Но учёные не верили в то, что Ганс был таким умным, как заявлял фон Остин. Психолог Карл Штумпф провёл тщательное расследование, которое окрестили «Гансовским комитетом». Он обнаружил, что Умный Ганс не решает уравнения, а реагирует на визуальные сигналы. Ганс выстукивал копытом, пока не добирался до правильного ответа, после чего его тренер и восторженная толпа разражались криками. А затем он просто останавливался. Когда он не видел этих реакций, он так и продолжал стучать.
Читать полностью »
Карта самоорганизации (Self-orginizing map) на TensorFlow
2017-08-03 в 13:10, admin, рубрики: machine learning, neural networks, python, TensorFlow, машинное обучениеПривет! Недавно начал свое знакомство с библиотекой глубокого обучения (Deep Learning) от Google под названием TensorFlow. И захотелось в качестве эксперимента написать карту самоорганизации Кохонена. Поэтому решил заняться ее созданием используя стандартный функционал данной библиотеки. В статье описано что из себя представляет карта самоорганизации Кохонена и алгоритм ее обучения. А также приведен пример ее реализации и что из этого всего вышло.
Машинное обучение в горнолыжном спорте
2017-08-02 в 9:13, admin, рубрики: data mining, machine learning, ski, машинное обучение
В этой статье речь пойдет о возможностях применения машинного обучения для анализа биомеханики в горнолыжном спорте.
Изначально гипотеза об указанных возможностях свелась к следующему набору требований:
- способность классифицировать технические элементы;
- способность по определенной метрике сравнивать указанные элементы; находить нетривиальные особенности прохождения трассы, позволяющие минимизировать время;
- способность строить прогнозы (например, на вторую попытку).
Генеративные модели от OpenAI
2017-08-01 в 16:49, admin, рубрики: deep learning, GAN, generative models, machine learning, OpenAI, wunder fund, wunderfund, Алгоритмы, Блог компании Wunder Fund, машинное обучение
Эта статья посвящена описанию четырех проектов, объединенных общей темой усовершенствования и применения генеративных моделей. В частности, речь пойдет о методах обучения без учителя и GAN.
Помимо описания нашей работы, в этой статье мы хотели бы подробнее рассказать о генеративных моделях: их свойствах, значении и возможных перспективах развития.
Читать полностью »