Начало года самое время для прогнозов и предсказаний. В этом посте я собрал обзор трендов в области аналитики и систем обработки данных на 2015 год.
С каждым годом все больше компаний приходят к выводу, что правильное использование аналитических систем и систем обработки больших массивов данных дает существенное конкурентное преимущество на рынке. Такая ситуация приводит к активному развитию аналитических отделов в компаниях и существенным инвестициям в инфраструктуру обработки данных.
Согласно различным отчетам ежегодный прирост затрат на развитие систем аналитики и обработки данных составляет 20% — 30%. Прогнозируемый суммарный объем затрат на системы обработки данных и аналитические сервисы в 2015 году составит ~3B$.
Большой спрос на аналитические системы и существенные инвестиции являются сильным драйвером для быстрого развития индустрии больших данных и появления огромного числа новых продуктов и решений.
Согласно исследованиям крупных консалтинговых компаний, таких как Deloitte и Forrester, в 2015 году можно будет выделить следующие основные тренды в области анализа и обработки данных.
- Автоматизация и коммодизация процессов обработки данных
- Развитие аналитических систем реального времени
- Появление новых инструментов для анализа данных датчиков и различных устройств
- Развитие когнитивных систем и систем автоматического принятия решения
- Изменения в законодательстве связанные с хранением и обработкой данных
1. Автоматизация и коммодизация процессов обработки данных
Большие затраты на техническое обслуживание систем хранения и обработки данных заставляют компании искать более дешевые решения. Одним из таких решений является отказ от собственных дата-центров и переход на облачные технологии хранения и анализа данных такие как Amazon WS, Microsoft Azure.
Острая нехватка специалистов в области анализа данных служит хорошим стимулом для развития автоматизированных инструментов, не требующих глубоких знаний в области технологий и ориентированных на решение бизнес задач. В качестве примера таких инструментов можно привести Tableau, IBM Watson и Azure Machine Learning.
Отдельно стоит отметить развитие систем автоматической предобработки сырых и неструктурированных данных подобных OpenRefine и DataWrangler.
2. Развитие аналитических систем реального времени
Традиционных аналитических решений на основе реляционных баз данных и OLAP технологий, требующих сравнительно большого количества времени для обработки запросов и формирования отчетов уже недостаточно для решения современных бизнес задач.
Компаниям для принятия эффективных решений нужно анализировать данные в реальном времени. Это приведет к развитию технологий потоковой обработки данных и быстрого доступа к данным, хранящимся в оперативной памяти. Одними из первых продуктов предназначенных для решения этих задач являются Apache Storm и Cloudera Impala.
3. Появление новых инструментов для анализа данных датчиков и различных устройств
Носимая электроника и интернет вещей продолжат активно развиваться в 2015 году. Подобные гаджеты уже находят широкое применение в сфере развлечений и мониторинга здоровья. Анализируя информацию с этих устройств можно повысить эффективность их использования.
Широкое распространение гаджетов приводит к появлению новых задач связанных с анализом сигналов различного рода датчиков и сенсоров. В отличие от транзакционных данных, данные сенсоров могут быть зашумлены и подвержены искажениям, что в свою очередь требует особого подхода к обработке подобных сигналов. Для задач связанных со сбором и анализом информации с датчков будут созданы специальные инструменты.
Также будут активно развиваться стандарты по интеграции датчиков и аналитических систем, что позволит существенно ускорить развитие интернета вещей в целом.
Отдельно стоит отметить, что данные носимой электроники позволят собирать больше информации о поведении и предпочтениях пользователей, что скорее всего приведет к появлению новых игроков на рынке данных.
4. Развитие когнитивных систем и систем автоматического принятия решения
Эксперты прогнозируют активное развитие технологий в области взаимодействия человека и искусственного интеллекта. В частности, развитие систем автоматического принятия решений в бизнес процессах, систем анализа текстовой информации, голоса, изображений и видео. Среди уже существующих продуктов можно отметить такие как Google Now и Word Lense.
5. Изменения в законодательстве связанные с хранением и обработкой данных
Уже сегодня мы ежедневно генерируем так много данных, что по ним можно достаточно точно составить портрет каждого человека, выявить его предпочтения и узнать личную информацию. С развитием интернета вещей и появлением новых гаджетов объем данных будет только увеличиваться, а вместе с этим будет увеличиваться доля личной информации хранимой в дата-центрах.
Такое развитие ситуации приведет к повышению социального давления на сервисы и компании, имеющие непосредственное отношение к обработке подобного рода данных, что приведет к вмешательству регулятора и появлению новых законов ограничивающих использование личной информации и определяющих требования к безопасности хранения данных.
Вероятно, новые требования заставят пересмотреть архитектурные решения компаний и приведут к появлению гибридных систем при которых часть данных вместо облака будет хранится в защищенных локальных дата-центрах.
Заключение
Несмотря на большие достижения за предыдущие периоды, 2015 год обещает быть очень интересным с точки зрения развития аналитических систем и появления новых возможностей для революционных решений в области обработки и анализа данных.
А что вы думаете о трендах в аналитике и системах обработки данных на 2015 год? Какие из уже существующих технологий будут востребованы в этом году? Какие задачи еще только предстоит решить? Давайте обсудим в комментариях.
Материалы
www.lavastorm.com/assets/Forrester-Predictions-2015-Agile-Features-Keep-the-BI-Market-Moving.pdf
public.deloitte.com/media/analytics/trends/pdf/us-da-analytics-analytics-trends-2015.pdf
research.gigaom.com/report/outlook-big-data-and-analytics-in-2015
channels.theinnovationenterprise.com/articles/big-data-top-trends-in-2015
Автор: a4tunado
