Как эффективно работать с json в R?
Является продолжением предыдущих публикаций.Читать полностью »
Рубрика «data science» - 17
Швейцарский нож для обработки json
2019-04-22 в 7:37, admin, рубрики: big data, data mining, data science, RКак начать применять R в Enterprise. Пример практического подхода
2019-04-22 в 7:19, admin, рубрики: big data, data mining, data science, RПубликация по выступлению на секции R meetup @ Moscow Data Science Major (Spring 2019).
Вся презентация в pdf формате.
Почему этот вопрос актуален?
Бизнес-кейсы различны, техническая суть одинакова
- Аналитика работы колл-центра
- Аналитика продаж, включая прогнозы
- Антифрод системы
- Business process mining
- Различные аудиты (технические, финансовые)
- Складские и логистические задачи
- Activity-based costing
- Business-process monitoring
- Log-based аналитика
- Capacity management
- Текстовая аналитика (e-mail, service-desk)
- "Гибкие" дашборды и отчеты
- "интеллектуальные шины" между учетными системами (1С, СКУД, SAP, ...) и исполнительными
- ...
Является продолжением предыдущих публикаций.Читать полностью »
Профессиональная деформация дата саентистов
2019-04-11 в 11:03, admin, рубрики: data mining, data science, Блог компании Open Data Science, Карьера в IT-индустрии, мир вокруг нас, мозг, Научно-популярное, рациональное мышление
“Если в ваших руках молоток, все вокруг кажется гвоздями”
Как практикующие дата саентисты мы занимаемся анализом данных, их сбором, очисткой, обогащением, строим и обучаем модели окружающего мира, основываясь на данных, находим внутренние взаимосвязи и противоречия между данными, порою даже там, где их нет. Безусловно такое погружение не могло не сказаться на нашем видении и понимании мира. Профессиональная деформация присутствует в нашей профессии точно также, как и в любой другой, но что именно она нам приносит и как влияет на нашу жизнь?
Семинары IBM: весна-лето 2019 — искусственный интеллект, разработка в облаке, чат-боты, блокчейн и прочие технологии
2019-04-09 в 15:39, admin, рубрики: blockchain, data science, IBM, Блог компании IBM, искусственный интеллект, микросервисы, облачная разработка, Облачные вычисления, облачные сервисы, разработка, Чат-боты
Привет! В апреле-июне этого года в нашем клиентском центре (Москва, Пресненская набережная, 10) мы проводим очередную серию семинаров по облачным сервисам IBM. Приглашаем всех заинтересованных разработчиков! Участие в семинарах абсолютно бесплатное, а кофе-чай-пирожные — за наш счет. ) По окончании семинара каждый его участник получит сертификат от IBM. Количество мест ограничено.
Для тех, кто посетил наши семинары в прошлом году, мы подготовили обновленную программу, скорректированную в соответствии с вашими пожеланиями. Темы семинаров: разработка в облаке, чат-боты, блокчейн, частные облака, машинное обучение и анализ данных в облаке. Посетив наши семинары, вы сможете быстро реализовать свои инновационные идеи в виде сервисов и/или приложений из облака IBM, используя современные технологии, сократить time-to-market, создавать PoC для ваших заказчиков, или вывести вашу идею на международный рынок!
Тем, кто заинтересовался — смотрим далее.
Читать полностью »
Другой Github 2: машинное обучение, датасеты и Jupyter Notebooks
2019-03-27 в 12:06, admin, рубрики: data science, github, Блог компании Mail.Ru Group, визуализация данных, глубокое обучение, машинное обучение, репозиторий
Несмотря на то, что в интернете существует множество источников свободного программного обеспечения для машинного обучения, Github остается важным центром обмена информацией для всех типов инструментов с открытым исходным кодом, используемых в сообществе специалистов по машинному обучению и анализу данных.
В этой подборке собраны репозитории по машинному обучению, датасетам и Jupyter Notebooks, ранжированные по количеству звезд. В предыдущей части мы рассказывали о популярных репозиториях для изучения работ по визуализации данных и глубокому обучению.
Читать полностью »
Как мы предсказывали отток, подойдя к нему как к стихийному бедствию
2019-03-21 в 14:15, admin, рубрики: AI, catboost, data science, Lift Curve, LightGBM, LSTM, xgboost, Блог компании Ростелеком, искусственный интеллект, машинное обучение, распределение Вейбулла, Ростелеком, спутник, хакатон, ХакатоныИногда для того, чтобы решить какую-то проблему, надо просто взглянуть на нее под другим углом. Даже если последние лет 10 подобные проблемы решали одним и тем же способом с разным эффектом, не факт, что этот способ единственный.
Есть такая тема, как отток клиентов. Штука неизбежная, потому что клиенты любой компании могут по множеству причин взять и перестать пользоваться ее продуктами или сервисами. Само собой, для компании отток — хоть и естественное, но не самое желаемое действие, поэтому все стараются этот отток минимизировать. А еще лучше — предсказывать вероятность оттока той или иной категории пользователей, или конкретного пользователя, и предлагать какие-то шаги по удержанию.
Анализировать и пытаться удержать клиента, если это возможно, нужно, как минимум, по следующим причинам:
- привлечение новых клиентов дороже процедур удержания. На привлечение новых клиентов, как правило, нужно потратить определенные деньги (реклама), в то время как существующих клиентов можно активизировать специальным предложением с особыми условиями;
- понимание причин ухода клиентов — ключ к улучшению продуктов и услуг.
Существуют стандартные подходы к прогнозированию оттока. Но на одном из чемпионатов по ИИ мы решили взять и попробовать для этого распределение Вейбулла. Чаще всего его используют для анализа выживаемости, прогнозирования погоды, анализа стихийных бедствий, в промышленной инженерии и подобном. Распределение Вейбулла — специальная функция распределения, параметризуемая двумя параметрами 
и 
.
Википедия
В общем, вещь занятная, но для прогнозирования оттока, да и вообще в финтехе, использующаяся не так, чтобы часто. Под катом расскажем, как мы (Лаборатория интеллектуального анализа данных) это сделали, попутно завоевав золото на Чемпионате по искусственному интеллекту в номинации «AI в банках».
Читать полностью »
Data Science: предсказание бизнес-событий для улучшения сервиса
2019-03-13 в 13:32, admin, рубрики: data mining, data science, Блог компании SimbirSoft, математика, машинное обучениеАлгоритмы рекомендаций, предсказания событий либо оценки рисков – трендовое решение в банках, страховых компаниях и многих других отраслях бизнеса. Например, эти программы помогают на основе анализа данных предположить, когда клиент вернет банковский кредит, какой будет спрос в ритейле, какова вероятность наступления страхового случая или оттока клиентов в телекоме и т.д. Для бизнеса это ценная возможность оптимизировать свои расходы, повысить скорость работы и в целом улучшить сервис.
Вместе с тем, для построения подобных программ не годятся традиционные подходы – классификация и регрессия. Рассмотрим эту проблему на примере кейса, посвященного предсказанию медицинских эпизодов: проанализируем нюансы в природе данных и возможные подходы к моделированию, построим модель и проанализируем ее качество. Читать полностью »
Руководство по развертыванию моделей машинного обучения в рабочей среде в качестве API с помощью Flask
2019-03-07 в 9:55, admin, рубрики: data science, machine learning, python, Блог компании Отус, машинное обучениеДрузья, в конце марта мы запускаем новый поток по курсу «Data Scientist». И прямо сейчас начинаем делиться с вами полезным материалом по курсу.
Введение
Вспоминая ранний опыт своего увлечения машинным обучением (ML) могу сказать, что много усилий уходило на построение действительно хорошей модели. Я советовался с экспертами в этой области, чтобы понять, как улучшить свою модель, думал о необходимых функциях, пытался убедиться, что все предлагаемые ими советы учтены. Но все же я столкнулся с проблемой.
Как же внедрить модель в реальный проект? Идей на этот счет у меня не было. Вся литература, которую я изучал до этого момента, фокусировалась только на улучшении моделей. Я не видел следующего шага в их развитии.
Именно поэтому я сейчас пишу это руководство. Мне хочется, чтобы вы столкнулись с той проблемой, с которой столкнулся я в свое время, но смогли достаточно быстро ее решить. К концу этой статьи я покажу вам как реализовать модель машинного обучения используя фреймворк Flask на Python.Читать полностью »
Хабрарейтинг: построение облака русскоязычных слов на примере заголовков Хабра
2019-03-05 в 13:28, admin, рубрики: data science, pandas, pymorphy, python, веб-аналитика, Социальные сети и сообщества, статистика, Статистика в IT, хабрПривет.
В последней части Хабрарейтинга был опубликован метод построения облака слов для англоязычных терминов. Разумеется, задача парсинга русских слов является гораздо более сложной, но как подсказали в комментариях, для этого существуют готовые библиотеки.
Разберемся, как строить такую картинку:
Также посмотрим облако статей Хабра за все годы.
Кому интересно, что получилось, прошу под кат.
Читать полностью »
Интуитивный RL (Reinforcement Learning): введение в Advantage-Actor-Critic (A2C)
2019-03-04 в 9:58, admin, рубрики: data science, deep learning, machine learning, reinforcement learning, искусственный интеллект, машинное обучение, переводыЭто вольный перевод статьи Rudy Gilman и Katherine Wang Intuitive RL: Intro to Advantage-Actor-Critic (A2C).
Специалисты по обучению с подкреплением (RL) подготовили множество отличных учебных пособий. Большинство, однако, описывают RL в терминах математических уравнений и абстрактных диаграмм. Нам нравится думать о предмете с другой точки зрения. Сама RL вдохновлена тем, как учатся животные, так почему бы не перевести лежащий в основе этого механизм RL обратно в природные явления, которые он призван имитировать? Люди учатся лучше всего через истории.
Это история о модели Actor Advantage Critic (A2C). Модель «Действующее лицо-критик» — это популярная форма модели Policy Gradient, которая сама по себе является традиционным алгоритмом RL. Если вы понимаете A2C, вы понимаете глубокий RL.