Привет всем! Сегодня мы публикуем видеозаписи с митапа для профессионалов Data Science, который прошел в нашем московском офисе 24 июня. Под катом — доклады о построении рекомендательных систем от специалистов из Яндекс.Дзена, OZON.ru и Avito, а также подробные описания решений финалистов нашего конкурса, который прошел на площадке Dataring.ru. И, конечно, награждение его победителей!
Читать полностью »
Рубрика «машинное обучение» - 195
Видеозаписи с Avito Data Science meetup
2017-07-04 в 13:20, admin, рубрики: data mining, ozon.ru, Блог компании Avito, машинное обучение, рекомендательные системы, рекомендательный сервис, рекомендации, Яндекс.ДзенIBM Watson и кибербезопасность: как когнитивная система защищает ценные данные
2017-07-03 в 15:28, admin, рубрики: watson, Watson for CyberSecurity, Блог компании IBM, информационная безопасность, кибербезопасность, машинное обучение
По оценкам любых аналитиков, оОбъем генерации данных в компаниях постоянно растет. Кроме того, с каждым днем увеличивается и ценность этой информации. Корпоративный шпионаж существовал всегда, а с появлением компьютерных технологий он вышел на новый уровень. Поэтому для любой компании кибербезопасность — краеугольный камень собственного благополучия и процветания.
Интересно, что в большинстве случаев проблема даже не сам взлом, а ликвидация его последствий – это долго, дорого, плюс негативно отражается на репутации компании. Примером можно считать проникновение ransomware в сеть компании — не так давно хостинг-провайдеру из Южной Кореи пришлось заплатить около 1 млн долларов США злоумышленникам за расшифровку своих данных и данных клиентов. Но в наше время $1 млн — это вовсе не предел. Избежать подобных проблем помогает когнитивная система IBM Watson, которую не первый год обучают премудростям информационной безопасности.
Читать полностью »
Pygest #12. Релизы, статьи, интересные проекты из мира Python [20 июня 2017 — 03 июля 2017]
2017-07-03 в 8:31, admin, рубрики: digest, django, flask, machine learning, pygest, python, web, дайджест, машинное обучение, Программирование, Разработка веб-сайтов
Всем привет! Это уже двенадцатый выпуск дайджеста на Хабрахабр о новостях из мира Python.
В сегодняшнем выпуске вы найдёте интересные материалы, касающиеся внутренностей Python, машинного обучения, популярных фреймворков и многого другого. Присылайте свои актуальные материалы, а также любые замечания и предложения, которые будут добавлены в ближайший дайджест.
А теперь к делу!
Читать полностью »
Классификация текста с помощью нейронной сети на JAVA
2017-07-03 в 7:19, admin, рубрики: java, open source, классификация текста, машинное обучение, нейронные сети, паттерны проектирования, Программирование, Проектирование и рефакторинг, шаблоны проектирования– Наша Лена уходит в декрет, – сообщил начальник, – поэтому нам надо искать замену на время ее отсутствия. Часть задач мы распределим, а вот как быть с задачей перенаправления обращений пользователей?
Лена – это наш сотрудник технической поддержки. Одна из ее обязанностей – распределение поступающих на электронную почту обращений между специалистами. Она анализирует обращение и определяет ряд характеристик. Например, «Тип обращения»: ошибка системы, пользователю просто нужна консультация, пользователь хочет какую-то новую функциональность. Определяет «Функциональный модуль системы»: модуль бухгалтерии, модуль паспортизации оборудования и т.д. Проставив все эти характеристики, она перенаправляет обращение соответствующему специалисту.
– Давай я напишу программу, которая это будет делать автоматически! – ответил я.
На этом увлекательный роман заканчиваем и переходим к технической части.
Метод оптимизации Нелдера — Мида. Пример реализации на Python
2017-07-02 в 17:58, admin, рубрики: python, Алгоритмы, математика, машинное обучение, Программирование
Метод Нелдера — Мида — метод оптимизации (поиска минимума) функции от нескольких переменных. Простой и в тоже время эффективный метод, позволяющий оптимизировать функции без использования градиентов. Метод надежен и, как правило, показывает замечательные результаты, хотя и отсутствует теория сходимости. Используется по умолчанию в функции optimize из модуля scipy.optimize популярной библиотеки для языка python, которая используется для математических расчетов.
Читать полностью »
Автоэнкодеры в Keras, Часть 6: VAE + GAN
2017-07-01 в 17:40, admin, рубрики: autoencoder, deep learning, GAN, keras, machine learning, mnist, python, Алгоритмы, математика, машинное обучение, обработка изображенийСодержание
- Часть 1: Введение
- Часть 2: Manifold learning и скрытые (latent) переменные
- Часть 3: Вариационные автоэнкодеры (VAE)
- Часть 4: Conditional VAE
- Часть 5: GAN (Generative Adversarial Networks) и tensorflow
- Часть 6: VAE + GAN
В позапрошлой части мы создали CVAE автоэнкодер, декодер которого умеет генерировать цифру заданного лейбла, мы также попробовали создавать картинки цифр других лейблов в стиле заданной картинки. Получилось довольно хорошо, однако цифры генерировались смазанными.
В прошлой части мы изучили, как работают GAN’ы, получив довольно четкие изображения цифр, однако пропала возможность кодирования и переноса стиля.
В этой части попробуем взять лучшее от обоих подходов путем совмещения вариационных автоэнкодеров (VAE) и генеративных состязающихся сетей (GAN).
Подход, который будет описан далее, основан на статье [Autoencoding beyond pixels using a learned similarity metric, Larsen et al, 2016].
Иллюстрация из [1]
Читать полностью »
Отвечаем на вопросы читателей: что такое когнитивная система IBM Watson, и как она работает?
2017-07-01 в 9:27, admin, рубрики: ibm watson, Блог компании IBM, будущее, высокая производительность, когнитивные системы, машинное обучение, облачные сервисы
Александр Дмитриев
Добрый день! Сегодня о том, что собой представляет когнитивная система Watson и как она работает расскажет Александр Дмитриев, бизнес-консультант Клиентского центра IBM в Москве. Он ответит на вопросы, которые возникали у читателей по прочтении других материалов на эту тему.
Читать полностью »
Автоэнкодеры в Keras, Часть 5: GAN(Generative Adversarial Networks) и tensorflow
2017-06-30 в 9:30, admin, рубрики: deep learning, GAN, keras, machine learning, mnist, python, Алгоритмы, математика, машинное обучение, обработка изображенийСодержание
- Часть 1: Введение
- Часть 2: Manifold learning и скрытые (latent) переменные
- Часть 3: Вариационные автоэнкодеры (VAE)
- Часть 4: Conditional VAE
- Часть 5: GAN (Generative Adversarial Networks) и tensorflow
- Часть 6: VAE + GAN
(Из-за вчерашнего бага с перезалитыми картинками на хабрасторейдж, случившегося не по моей вине, вчера был вынужден убрать эту статью сразу после публикации. Выкладываю заново.)
При всех преимуществах вариационных автоэнкодеров VAE, которыми мы занимались в предыдущих постах, они обладают одним существенным недостатком: из-за плохого способа сравнения оригинальных и восстановленных объектов, сгенерированные ими объекты хоть и похожи на объекты из обучающей выборки, но легко от них отличимы (например, размыты).
Этот недостаток в куда меньшей степени проявляется у другого подхода, а именно у генеративных состязающихся сетей — GAN’ов.
Формально GAN’ы, конечно, не относятся к автоэнкодерам, однако между ними и вариационными автоэнкодерами есть сходства, они также пригодятся для следующей части. Так что не будет лишним с ними тоже познакомиться.
Коротко о GAN
GAN’ы впервые были предложены в статье [1, Generative Adversarial Nets, Goodfellow et al, 2014] и сейчас очень активно исследуются. Наиболее state-of-the-art генеративные модели так или иначе используют adversarial.
Схема GAN:
Как HBO делала приложение Not Hotdog для сериала «Кремниевая долина»
2017-06-27 в 10:53, admin, рубрики: alexnet, appstore, Cyclical Learning Rates, DX, Enet, Google Cloud Vision, ImageNet, inception, keras, react native, SqueezeNet, TensorFlow, UX, Xception, глубинное обучение, зловещая долина, Компьютерное зрение, машинное обучение, обработка изображений, переобучение, разработка мобильных приложений, Разработка под android, разработка под iOS, метки: Google Cloud Vision
Сериал HBO «Кремниевая долина» выпустил настоящее приложение ИИ, которое распознаёт хотдоги и не-хотдоги, как приложение в четвёртом эпизоде четвёртогого сезона (приложение сейчас доступно для Android, а также для iOS!)
Чтобы добиться этого, мы разработали специальную нейронную архитектуру, которая работает непосредственно на вашем телефоне, и обучили её с помощью TensorFlow, Keras и Nvidia GPU.
Читать полностью »
Проблемы безопасности и главные достижения ИИ
2017-06-27 в 8:40, admin, рубрики: AI, Parallels, Блог компании Parallels, будущее, ИИ, искусственный интеллект, машинное обучение, Разработка для интернета вещей, Разработка робототехники
Тема искусственного интеллекта остается в фокусе интереса большого количества людей. Главная причина неослабевающего внимания публики в том, что за последние годы мы узнали о сотнях новых проектов, где используются технологии слабого ИИ. Весьма вероятно, что ныне живущие на планете люди смогут воочию застать появление сильного ИИ. Под катом история о том, когда именно ждать башковитых роботов в вашей квартире. Спасибо за светлые мысли ZiingRR и Владимиру Шакирову. Enjoy.Читать полностью »