Рубрика «big data» - 42

Введение в обучение с подкреплением

2018-11-07 в 16:40, admin, рубрики: big data, data mining, deep learning, machine learning, Блог компании Отус

Всем привет!

Мы открыли новый поток на курс «Machine learning», так что ждите в ближайшее время статей связанных с данной, так сказать, дисциплиной. Ну и разумеется открытых семинаров. А сейчас давайте рассмотрим, что такое обучение с подкреплением.

Обучение с подкреплением является важным видом машинного обучения, где агент учится вести себя в окружающей среде, выполняя действия и видя результаты.

В последние годы мы наблюдаем много успехов в этой увлекательной области исследований. Например, DeepMind и Deep Q Learning Architecture в 2014 году, победа над чемпионом по игре в го с AlphaGo в 2016, OpenAI и PPO в 2017 году, среди прочих.

Введение в обучение с подкреплением - 1 Читать полностью »

20th Century Fox и Google разработали технологию, предсказывающую пойдут ли в кинотеатр те, кто просмотрел трейлер

2018-11-04 в 12:23, admin, рубрики: big data, Google, merlin, кинокартины, Облачные вычисления, сервисы, фильмы

20th Century Fox и Google разработали технологию, предсказывающую пойдут ли в кинотеатр те, кто просмотрел трейлер - 1

IT-специалисты из компаний 20th Century Fox и Google Cloud разработали технологию на базе машинного обучения, которая анализирует просмотры трейлеров и предсказывает вероятность того, что люди пойдут на эти фильмы и «родственные» им картины в кинотеатры.

Сама технология получила название Merlin. Система распознает объекты и паттерны сюжета трейлеров для «понимания» самой картины. Merlin сканирует трейлеры и выявляет объекты вроде «мужчина с бородой», «пистолет», «машина», решая что это за картина и в каком контексте демонстрируется объект.
Читать полностью »

Онлайн-чемпионат по Data Science

2018-11-02 в 12:35, admin, рубрики: big data, data science, Блог компании Цифровой СИБУР, продвинутая аналитика, Хакатоны

Оптимизация работы оборудования, предиктивный мониторинг, построение зависимостей реальной прибыли от технологического режима и многие другие задачи из области цифровой химии уже решаются с помощью DataScience-технологий. У нас в рамках цифровой трансформации производственных и бизнес-процессов над этим работает направление «Продвинутая аналитика».

Возможно ли правильно спрогнозировать объёмы производства, учитывая все особенности процесса и технологические параметры? Скоро узнаем.

СИБУР запускает онлайн-чемпионат по Data Science, который продлится до 19 ноября. Желающим принять участие нужно зарегистрироваться до 16 ноября. Решения принимаются до 19, а 24 ноября – финал.

Общий призовой фонд составляет более 600 000 рублей: 1 место – 200 000 рублей, 2 место – 150 000 рублей, 3 место – 70 000 рублей, 4, 5 и 6 места – 40 000 рублей. Лучшие проекты дополнительных треков – 20 000 рублей и квадрокоптеры. В команде может быть от 1 до 4 участников.

Читать полностью »

Как H&M пытается спасти себя с помощью AI и Big Data

2018-11-01 в 13:27, admin, рубрики: AI, amazon, big data, hm, pochtoy, Блог компании Pochtoy.com, искусственный интеллект, магазин, машинное обучение, ритейл, Управление e-commerce

Как H&M пытается спасти себя с помощью AI и Big Data - 1

Самая успешная в прошлом розничная сеть по торговле одеждой обращается за помощью к AI, чтобы вернуть покупателей. И выбраться из крупнейшего падения продаж в своей истории. H&M разработала самообучающуюся систему, которая, анализируя продажи и последние тренды, предсказывает, какие вещи стоит продавать в каждом из её 4288 магазинов. Алгоритмы уже прошли испытание в Швеции, каким-то чудом позволив убрать 40% товара из бутиков, при этом не снизив продажи. Но у компании на неё гораздо более далекоидущие планы. Искусственному интеллекту придется попотеть.Читать полностью »

Краткий обзор алгоритма машинного обучения Метод Опорных Векторов (SVM)

2018-11-01 в 13:16, admin, рубрики: algorithms, big data, data science, machine learning, python, sklearn, математика, машинное обучение, Программирование

Предисловие

Краткий обзор алгоритма машинного обучения Метод Опорных Векторов (SVM) - 1

В данной статье мы изучим несколько аспектов SVM:

теоретическую составляющую SVM;
как алгоритм работает на выборках, которые невозможно разбить на классылинейно;
пример использования на Python и имплементация алгоритма в библиотеке SciKit Learn.

Читать полностью »

KubeDirector — простой способ запускать сложные stateful-приложения в Kubernetes

2018-11-01 в 7:20, admin, рубрики: big data, devops, KubeDirector, kubernetes, stateful, Блог компании Флант, системное администрирование

Прим. перев.: Оригинальная статья написана представителями компании BlueData, основанной выходцами из VMware. Она специализируется на том, чтобы сделать доступнее (проще, быстрее, дешевле) развёртывание решений для Big Data-аналитики и машинного обучения в различных окружениях. Этому призвана способствовать и недавняя инициатива компании под названием BlueK8s, в которой авторы хотят собрать плеяду Open Source-инструментов «для деплоя stateful-приложений и управления ими в Kubernetes». Статья посвящена первому из них — KubeDirector, что, согласно замыслу авторов, помогает энтузиасту в области Big Data, не имеющему специальной подготовки в Kubernetes, разворачивать в K8s приложения типа Spark, Cassandra или Hadoop. Краткая инструкция о том, как это сделать, и приведена в статье. Однако учтите, что у проекта ранний статус готовности — pre-alpha.

KubeDirector — простой способ запускать сложные stateful-приложения в Kubernetes - 1

KubeDirector — Open Source-проект, созданный для упрощения запуска кластеров из сложных масштабируемых stateful-приложений в Kubernetes. KubeDirector реализован с помощью фреймворка Custom Resource Definition (CRD), использует родные возможности расширения Kubernetes API и опирается на их философию. Такой подход обеспечивает прозрачную интеграцию с управлением пользователей и ресурсов в Kubernetes, а также с существующими клиентами и утилитами.Читать полностью »

Как интерпретировать предсказания моделей в SHAP

2018-10-30 в 11:02, admin, рубрики: big data, data science, feature importance, machine learning, shap, машинное обучение

Одной из важнейших задач в сфере data science является не только построение модели, способной делать качественные предсказания, но и умение интерпретировать такие предсказания.

Если мы не просто знаем, что клиент склонен купить товар, но так же понимаем, что влияет на его покупку, мы сможем в будущем выстраивать стратегию компанию, направленную на повышение эффективности продаж.
Читать полностью »

Города и их «большие данные»

2018-10-30 в 9:39, admin, рубрики: big data, Блог компании Smile-Expo, Большие данные, визуализация данных, городская среда, смайл экспо, Урбанизм

О чем рассказывают «большие данные» города? Как представить их наглядно и — что важнее — как с их помощью сделать жизнь горожан лучше?

Об этом мы поговорили с Андреем Кармацким, гендиректором компании Urbica. Компания специализируется на визуализации городских данных. Среди ее проектов — редизайн карты для MAPS.ME, интерактивная визуализация статистики поездок для «Велобайка» и визуализация для запуска системы наземного городского транспорта «Магистраль».

Города и их «большие данные» - 1
Велосипедный трафик между районами в центре Москвы. Источник изображений — блог «Урбики» на Medium

Читать полностью »

Митап в Петербурге: Data Engineering и не только

2018-10-29 в 10:37, admin, рубрики: Apache Spark, big data, data, data mining, spark, wrike, wriketechclub, Блог компании Wrike, визуализация данных

Митап в Петербурге: Data Engineering и не только - 1

Дата инженеры — люди, без которых аналитики уснут до окончания запроса к БД, а дата сайентисты захлебнутся в данных. Пришло время рассказать окружающим и самим себе, зачем и как мы работаем.

К сожалению, чуть ли не единственная специализированная конференция для дата-аналитиков и дата-инженеров в Питере в этом году отменилась, но мы в Wrike Tech Club решили дольго не грустить и устроить ламповый уютный митап с классными спикерами.
Читать полностью »

Новый законопроект о защите больших пользовательских данных (БПДн)

2018-10-28 в 7:42, admin, рубрики: big data, Блог компании Cloud4Y, большие пользовательские данные, защита информации, информационная безопасность, персональные данные, хранение данных

Раньше серьезную инфраструктуру для хранения и анализа Больших данных (Big Data) могли позволить себе только масштабные организации. Сегодня же, большие данные находят все более разнообразное применение в самых различных областях. При этом, развитие Big Data не только открывает возможности, но и сопряжено с многочисленными сложностями. Современные организации все чаще используют технологии машинного обучения и когнитивные технологии, которые часто позволяют более эффективно использовать большие данные. Так же, в области больших данных присутствуют и свои, присущие относительно новым технологиям угрозы безопасности информации.Читать полностью »

Информация

Обсуждаемое

Рекомендуем

Рубрика «big data» - 42

Введение в обучение с подкреплением

20th Century Fox и Google разработали технологию, предсказывающую пойдут ли в кинотеатр те, кто просмотрел трейлер

Онлайн-чемпионат по Data Science

Как H&M пытается спасти себя с помощью AI и Big Data

Краткий обзор алгоритма машинного обучения Метод Опорных Векторов (SVM)

Предисловие

KubeDirector — простой способ запускать сложные stateful-приложения в Kubernetes

Как интерпретировать предсказания моделей в SHAP

Города и их «большие данные»

Митап в Петербурге: Data Engineering и не только

Новый законопроект о защите больших пользовательских данных (БПДн)

Архив

Информация

Обсуждаемое

Рекомендуем

Рубрика «big data» - 42

Предисловие

Новости

Актуальные темы

Архив