Машинное обучение и нейросети становятся все более незаменимыми для многих компаний. Одна из основных проблем, с которыми они сталкиваются — деплой такого рода приложений. Я хочу показать показать практичный и удобный способ подобного деплоя, для которого не требуется быть специалистом в облачных технологиях и кластерах. Для этого мы будем использовать serverless инфраструктуру.
Рубрика «Блог компании Open Data Science» - 8
Serverless tensorflow на AWS Lambda
2018-08-30 в 10:10, admin, рубрики: Amazon Web Services, AWS, deep learning, FaaS, lambda, machine learning, open source, serverless, TensorFlow, Блог компании Open Data Science, глубокое обучение, машинное обучение3-е место в отборочном этапе DataScienceGame 2018
2018-07-18 в 11:05, admin, рубрики: data mining, DataScienceGame, kaggle, Алгоритмы, анализ данных, Блог компании Open Data Science, машинное обучение, Программирование
Недавно закончился отборочный этап DataScienceGame2018, который проходил в формате kaggle InClass. DataScienceGame — это международное студенческое соревнование, которое проводится на ежегодной основе. Нашей команде удалось оказаться на 3м месте среди более чем 100 команд и при этом НЕ пройти в финальный этап.
Читать полностью »
Офлайн А-Б тестирование в ритейле
2018-07-09 в 11:40, admin, рубрики: abtest, abtesting, baseline, beer, consulting, data mining, linear regression, machine learning, retail, Алгоритмы, Блог компании Open Data Science, машинное обучение, управление проектами
Это реальная история. События, о которых рассказывается в посте, произошли в одной теплой стране в 21ом веке. На всякий случай имена персонажей были изменены. Из уважения к профессии всё рассказано так, как было на самом деле.
Привет, хабор. В этом посте речь пойдет про пресловутое А/Б тестирование, к сожалению даже в 21ом веке его не избежать. В онлайне уже давно существуют и процветают альтернативные варианты тестирования, в то время, как в офлайне приходится адаптироваться по ситуации. Об одной такой адаптации в массовом офлайн ритейле мы и поговорим, приправив историю опытом взаимодействия с одной топовой консалтинговой конторой, в общем го под кат.
kaggle: IEEE’s Camera Model Identification
2018-07-05 в 11:05, admin, рубрики: computer science, computer vision, image processing, kaggle, python, Блог компании Open Data Science, машинное обучение, обработка изображений, управление разработкойВ конце зимы этого года прошло соревнование IEEE's Signal Processing Society — Camera Model Identification. Я участвовал в этом командном соревновании в качестве ментора. Об альтернативном способе формирования команды, решении и втором этапе под катом
Читать полностью »
Kaggle: Amazon from Space — трюки и хаки при обучении нейросетей
2018-06-14 в 11:01, admin, рубрики: computer vision, kaggle, machine learning, python, Алгоритмы, Блог компании Open Data Science, машинное обучение, обработка изображений
Летом прошлого года закончилось соревнование на площадке kaggle, которое было посвящено классификации спутниковых снимков лесов Амазонки. Наша команда заняла 7 место из 900+ участников. Не смотря на то, что соревнование закончилось давно, почти все приемы нашего решения применимы до сих пор, причём не только для соревнований, но и для обучения нейросетей для прода. За подробностями под кат.
Читать полностью »
Как создать свой датасет с Киркоровым и Фейсом на Яндекс Толоке
2018-06-07 в 11:00, admin, рубрики: big data, data mining, Блог компании Open Data Science, искусственный интеллект, краудсорсинг, машинное обучение, обработка изображений, толока
Нейронными сетями уже никого не удивишь. Практически каждый человек знает, что такое машинное обучение, линейная регрессия, random forest. Каждый год тысячи людей проходят курсы по машинному обучению на ODS и Coursera. Любой школьник за пару недель теперь может освоить keras и клепать нейроночки. Но в нейронных сетях, как и во всем машинном обучении, помимо создания хорошего алгоритма, необходимы данные, на которых алгоритм будет обучаться.
Интеллектуальные системы поддержки принятия решений — краткий обзор
2018-05-28 в 9:30, admin, рубрики: AI, architecture, big data, data mining, deep learning, DSS, ECM/СЭД, python, Блог компании Open Data Science, ИСППР, машинное обучение, сппр, теория игр
Дисклеймер
Целью написания этой статьи было сделать краткий обзор принципов построения Интеллектуальных Систем Поддержки Принятия Решений (ИСППР), роли машинного обучения, теории игр, классического моделирования и примеров их использования в СППР. Целью статьи не является забуриться вглубь тяжелой теории автоматов, самообучаемых машин, равно как и инструментов BI.
Введение
Существет несколько определений ИСППР, которые, в общем-то, крутятся вокруг одного и того же функционала. В общем виде, ИСППР — это такая система, которая ассистирует ЛПР (Лицам, Принимающим Решения) в принятии этих самых решений, используя инструментарии дата майнинга, моделирования и визуализации, обладает дружелюбным (G)UI, устойчива по качеству, интерактивна и гибка по настройкам.
Зачем нужны СППР:
- Сложность в принятии решений
- Необходимость в точной оценке различных альтернатив
- Необходимость предсказательного функционала
- Необходимость мультипотокового входа (для принятия решения нужны выводы на основе данных, экспертные оценки, известные ограничения и т.п.)
Глубокое обучение с использованием R и mxnet. Часть 1. Основы работы
2018-05-10 в 10:00, admin, рубрики: deep learning, mxnet, neural networks, open source, R, Блог компании Open Data Science, глубокое обучение, машинное обучение, нейронные сети, Программирование
Привет!
Эта статья является первой частью руководства по приготовления нейронных сетей с использованием библиотеки mxnet на языке R. Источником вдохновения послужила онлайн-книга Deep Learning — The Straight Dope, объема которой достаточно для осознанного использования mxnet на Питоне. Примеры оттуда будут воспроизводиться с поправкой на отсутствие реализации интерфейса Gluon для R. В первой части рассмотрим установку библиотеки и общие принципы работы, а также реализуем простую линейную модель для решения задачи регрессии.Читать полностью »
Детектирование частей тела с помощью глубоких нейронных сетей
2018-05-07 в 11:00, admin, рубрики: ods, pose estimation, академический университет, Блог компании Open Data Science, Блог компании СПБАУ, математика, машинное зрение, машинное обучение, обработка изображений, статьяПривет!
Сегодня я расскажу вам про один из методов решения задачи pose estimation. Задача состоит в детектировании частей тела на фотографиях, а метод называется DeepPose. Этот алгоритм был предложен ребятами из гугла еще в 2014 году. Казалось бы, не так давно, но не для области глубокого обучения. С тех пор появилось много новых и более продвинутых решений, но для полного понимания необходимо знакомство с истоками.
Ассоциативные правила, или пиво с подгузниками
2018-04-19 в 11:09, admin, рубрики: association rules, open data science, python, R, retail, Алгоритмы, ассоциативные правила, Блог компании Open Data Science, машинное обучение
Введение в теорию
Обучение на ассоциативных правилах (далее Associations rules learning — ARL) представляет из себя, с одной стороны, простой, с другой — довольно часто применимый в реальной жизни метод поиска взаимосвязей (ассоциаций) в датасетах, или, если точнее, айтемсетах (itemsests). Впервые подробно об этом заговорил Piatesky-Shapiro G [1] в работе “Discovery, Analysis, and Presentation of Strong Rules.” (1991) Более подробно тему развивали Agrawal R, Imielinski T, Swami A в работах “Mining Association Rules between Sets of Items in Large Databases” (1993) [2] и “Fast Algorithms for Mining Association Rules.” (1994) [3].
Читать полностью »