Рубрика «Большие данные» - 10

Привет!

image

В прошлый раз мы познакомились с инструментом Apache Spark, который в последнее время становится чуть ли не самым популярным средством для обработки больших данных и в частности, Large Scale Machine Learning. Сегодня мы рассмотрим подробнее библиотеку MlLib, а именно — покажем, как решать задачи машинного обучения — классификации, регресии, кластеризации, а также коллаборативной фильтрации. Кроме этого покажем, как можно исследовать признаки с целью отбора и выделения новых (т.н. Feature Engineering, о котором мы говорили ранее, причем не один раз).
Читать полностью »

Объем мирового рынка ИТ превышает два триллиона долларов США. Самый динамичный сегмент — программное обеспечение, он растет на 6% ежегодно. Быстро развивается категория приложений для совместной работы.

Развитие отрасли ИТ аналитики IDC представили в виде трех платформ. На первой работали тысячи пользователей, она построена на базе мейнфреймов и терминалов. Затем появились традиционные персональные компьютеры и интернет, технологии стали доступны сотням тысяч пользователей. Сегодня миллиарды пользователей для доступа к информации и работы используют мобильные устройства, облачные сервисы и социальные технологии.

image
Читать полностью »

Сегодня я рад презентовать на Хабре образовательную программу «Специалист по большим данным» — интенсивный трехмесячный курс «Лаборатории новых профессий» для разработчиков и экспертов по IT-инфраструктуре, которые хотят войти в быстро в растущую индустрию Big Data.

«Специалист по большим данным»: учебная программа от «Лаборатории новых профессий» - 1 Читать полностью »

В эпоху Big Data графическое представление многомерных данных является весьма актуальной задачей. Однако результат визуализации не всегда соответствует ожиданиям. Вот пример не самого наглядного графика для изображения многомерных данных «Ирисы Фишера»:
Визуализация многомерных данных с помощью диаграмм Эндрюса - 1
Читать полностью »

Прошлые 15 лет Google работал над распознаванием паттернов в хаосе информации в сети, а теперь свои умения приложит к поиску генетических причин аутизма. Для этого будут обработаны геномы 10 000 человек с аутизмом и членов их семей.

image
Читать полностью »

Только что в Париже на конференции La Web Яндекс объявил об открытии нового важного направления своей деятельности — по коммерческой обработке больших данных — Yandex Data Factory.

Мы верим, что обработка больших данных — это часть нового витка технической революции, который сделает всё человечество ещё более эффективным и приведёт нас к будущему, которое мы сейчас ещё даже не можем до конца представить. И в нём работа с большими объёмами данных будет не менее важным и распространённым, чем выработка электричества или железные дороги сегодня.

Yandex Data Factory - 1

Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов с компаниями-партнёрами. Для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.
Читать полностью »

Только что в Париже на конференции La Web Яндекс объявил об открытии нового важного направления своей деятельности — по коммерческой обработке больших данных — Yandex Data Factory.

Мы верим, что обработка больших данных — это часть нового витка технической революции, который сделает всё человечество ещё более эффективным и приведёт нас к будущему, которое мы сейчас ещё даже не можем до конца представить. И в нём работа с большими объёмами данных будет не менее важным и распространённым, чем выработка электричества или железные дороги сегодня.

Яндекс открывает новое направление своей деятельности — Yandex Data Factory - 1

Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов с компаниями-партнёрами. Для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.
Читать полностью »

IBM анонсирует новые проекты внедрения технологий Watson и открытие штаб квартиры Watson Group в Нью Йорке

Компания IBM анонсировала новые проекты по использованию возможностей IBM Watson и когнитивных вычислительных технологий. IBM Watson – инновационная платформа, которая лежит в основе новой эры вычислений благодаря способности понимать естественные языки, а также обрабатывать огромные массивы больших данных с целью извлечения ценной информации и дальнейшего самообучения.

Читать полностью »

Первым комментарием к моему предыдущему посту про робототехнику в медицине была просьба (или вопрос) написать про используемые экзоскелеты.

Что такое экзоскелет? Это “внешний скелет”, который за счет каркаса увеличивает силу человека. Он должен повторять биомеханику, что позволит ему пропорционально увеличивать силу при движениях. Среди сфер применения экзоскелетов — военное дело, сельское хозяйство и медицина.

О таких разработках в медицинской сфере — прошу под хабракат.

Экзоскелеты в медицине

Читать полностью »

В прошлом моем посте о телемедицине было упоминание робота-хирурга Да Винчи, которых на 2010 год было установлено около 1000 в мире. Но это далеко не единственное достижение робототехники, использованное в медицине.

В каких сферах и для чего используют роботов? В хирургии, в качестве сиделок для детей и пожилых, в телемедицине и даже для доставки лекарств. Подробнее — прошу под хабракат.

Роботы в медицине

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js