Рубрика «big data» - 41

Как определить наилучшее время для сделки на бирже - 1

Понять, когда именно стоит покупать, а когда продавать акции на бирже – самая важная задача любого инвестора. От правильного выбора времени зависит как сам факт наличия прибыли, так и ее размер.

Тренд последних лет – появление автоматизированных инструментов, которые помогают поймать такой момент на основе анализа Big Data и машинного обучения. Мы в ITI Capital также разработали такой продукт под названием ITI Global, и в сегодняшнем материале расскажем о том, какие данные анализируют подобные системы.Читать полностью »

Продолжаем рассказ об олимпиаде для бакалавров, магистров и специалистов «Я — профессионал». Она проводится при поддержке сильнейших вузов. Сегодня мы расскажем о новом соревновательном направлении, которое курирует Университет ИТМО, — «Большие данные».

Генеральный партнер олимпиады «Я — профессионал» по направлениям Университета ИТМО — «Компьютерные науки», «Информационная и кибербезопасность», «Большие данные» — Сбербанк.

В магистратуру без экзаменов: новое направление «Большие данные» на олимпиаде «Я — профессионал» - 1Читать полностью »

К 2025 году общемировой объем сохраненных данных достигнет 163 зеттабайт — к такому выводу пришли аналитики консалтинговой компании International Data Corporation (IDC) в своем докладе “The Data Age 2025”. Для сравнения, в 2016 году эта цифра составляла всего 16 зеттабайт — таким образом, мы получим практически десятикратный прирост объема сохраненной информации.

Виноваты в этом отнюдь не видео в формате 4K и не компьютерные игры весом от 100 ГБ и выше: столь бурный рост связан с повышенным интересом к Big Data со стороны бизнеса. Стремясь предсказать поведение потенциальных клиентов и лучше понять целевую аудиторию, крупные корпорации фиксируют буквально каждое действие, совершаемое человеком в глобальной паутине. Ситуацию усугубляют и такие перспективные направления, как машинное обучение и интернет вещей: миллиарды устройств ежесекундно генерируют огромное количество информации, а нейросети требуют все больше сведений для анализа и обработки.

Перечисленные факторы определяют спрос на более вместительные накопители, но реально ли в принципе удовлетворить потребности современного рынка? Мы утверждаем — да, с появлением MAMR нет ничего невозможного! Специально для тех, у кого нет времени на чтение объемных материалов, мы подготовили короткий видеоролик, освещающий основные преимущества накопителей, выполненных по технологии MAMR.

Если же вы хотите узнать “грязные подробности”, добро пожаловать под кат!Читать полностью »

dva stula

Наверное, многие из тех, кто занимается анализом данных, когда-нибудь думали о том, возможно ли использовать в работе одновременно R и Python. И если да, то зачем это может быть нужно? В каких случаях будет полезным и эффективным для проектов? Да и как вообще выбрать лучший способ совмещения языков, если гугл выдает примерно 100500 вариантов?

Давайте попробуем разобраться в этих вопросах.
Читать полностью »

Всем привет!

Мы открыли новый поток на курс «Machine learning», так что ждите в ближайшее время статей связанных с данной, так сказать, дисциплиной. Ну и разумеется открытых семинаров. А сейчас давайте рассмотрим, что такое обучение с подкреплением.

Обучение с подкреплением является важным видом машинного обучения, где агент учится вести себя в окружающей среде, выполняя действия и видя результаты.

В последние годы мы наблюдаем много успехов в этой увлекательной области исследований. Например, DeepMind и Deep Q Learning Architecture в 2014 году, победа над чемпионом по игре в го с AlphaGo в 2016, OpenAI и PPO в 2017 году, среди прочих.

Введение в обучение с подкреплением - 1Читать полностью »

20th Century Fox и Google разработали технологию, предсказывающую пойдут ли в кинотеатр те, кто просмотрел трейлер - 1

IT-специалисты из компаний 20th Century Fox и Google Cloud разработали технологию на базе машинного обучения, которая анализирует просмотры трейлеров и предсказывает вероятность того, что люди пойдут на эти фильмы и «родственные» им картины в кинотеатры.

Сама технология получила название Merlin. Система распознает объекты и паттерны сюжета трейлеров для «понимания» самой картины. Merlin сканирует трейлеры и выявляет объекты вроде «мужчина с бородой», «пистолет», «машина», решая что это за картина и в каком контексте демонстрируется объект.
Читать полностью »

Оптимизация работы оборудования, предиктивный мониторинг, построение зависимостей реальной прибыли от технологического режима и многие другие задачи из области цифровой химии уже решаются с помощью DataScience-технологий. У нас в рамках цифровой трансформации производственных и бизнес-процессов над этим работает направление «Продвинутая аналитика».

Онлайн-чемпионат по Data Science - 1

Возможно ли правильно спрогнозировать объёмы производства, учитывая все особенности процесса и технологические параметры? Скоро узнаем.

СИБУР запускает онлайн-чемпионат по Data Science, который продлится до 19 ноября. Желающим принять участие нужно зарегистрироваться до 16 ноября. Решения принимаются до 19, а 24 ноября – финал.

Общий призовой фонд составляет более 600 000 рублей: 1 место – 200 000 рублей, 2 место – 150 000 рублей, 3 место – 70 000 рублей, 4, 5 и 6 места – 40 000 рублей. Лучшие проекты дополнительных треков – 20 000 рублей и квадрокоптеры. В команде может быть от 1 до 4 участников.

Читать полностью »

Как H&M пытается спасти себя с помощью AI и Big Data - 1

Самая успешная в прошлом розничная сеть по торговле одеждой обращается за помощью к AI, чтобы вернуть покупателей. И выбраться из крупнейшего падения продаж в своей истории. H&M разработала самообучающуюся систему, которая, анализируя продажи и последние тренды,  предсказывает, какие вещи стоит продавать в каждом из её 4288 магазинов. Алгоритмы уже прошли испытание в Швеции, каким-то чудом позволив убрать 40% товара из бутиков, при этом не снизив продажи. Но у компании на неё гораздо более далекоидущие планы. Искусственному интеллекту придется попотеть.Читать полностью »

Предисловие

Краткий обзор алгоритма машинного обучения Метод Опорных Векторов (SVM) - 1

В данной статье мы изучим несколько аспектов SVM:

  • теоретическую составляющую SVM;
  • как алгоритм работает на выборках, которые невозможно разбить на классылинейно;
  • пример использования на Python и имплементация алгоритма в библиотеке SciKit Learn.

Читать полностью »

Прим. перев.: Оригинальная статья написана представителями компании BlueData, основанной выходцами из VMware. Она специализируется на том, чтобы сделать доступнее (проще, быстрее, дешевле) развёртывание решений для Big Data-аналитики и машинного обучения в различных окружениях. Этому призвана способствовать и недавняя инициатива компании под названием BlueK8s, в которой авторы хотят собрать плеяду Open Source-инструментов «для деплоя stateful-приложений и управления ими в Kubernetes». Статья посвящена первому из них — KubeDirector, что, согласно замыслу авторов, помогает энтузиасту в области Big Data, не имеющему специальной подготовки в Kubernetes, разворачивать в K8s приложения типа Spark, Cassandra или Hadoop. Краткая инструкция о том, как это сделать, и приведена в статье. Однако учтите, что у проекта ранний статус готовности — pre-alpha.

KubeDirector — простой способ запускать сложные stateful-приложения в Kubernetes - 1

KubeDirector — Open Source-проект, созданный для упрощения запуска кластеров из сложных масштабируемых stateful-приложений в Kubernetes. KubeDirector реализован с помощью фреймворка Custom Resource Definition (CRD), использует родные возможности расширения Kubernetes API и опирается на их философию. Такой подход обеспечивает прозрачную интеграцию с управлением пользователей и ресурсов в Kubernetes, а также с существующими клиентами и утилитами.Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js