Зачем разработчикам изучать Spark? Как освоить технологию в домашних условиях? Что умеет, а чего не умеет Spark и что ждет его в будущем? Об этом – в интервью с тренером по Java и Big Data в ЕРАМ Алексеем Зиновьевым.
Рубрика «Apache Spark» - 2
Зачем изучать Spark?
2017-08-21 в 15:36, admin, рубрики: Apache Spark, big data, EPAM, java, spark, Блог компании EPAMApache Spark как ядро проекта. Часть 2. Streaming, и на что мы напоролись
2017-06-16 в 4:29, admin, рубрики: Apache Spark, big data, Hadoop, архитектура системыПривет коллеги.
Да, не прошло и три года с первой статьи, но проектная пучина отпустила только сейчас. Хочу с вами поделиться своими соображениями и проблемами касательно Spark streaming в связке с Kafka. Возможно среди вас есть люди с успешным опытом, поэтому буду рад пообщаться в комментариях.
Читать полностью »
Конфигурирование Spark на YARN
2017-04-28 в 9:40, admin, рубрики: Apache Spark, big data, data mining, spark, YARN, Блог компании New Professions Lab, машинное обучение Вчера на митапе, посвященном Apache Spark, от ребят из Rambler&Co, было довольно много вопросов от участников, связанных с конфигурированием этого инструмента. Решили по его следам поделиться своим опытом. Тема непростая — поэтому предлагаем делиться опытом тоже в комментариях, может быть, мы тоже что-то не так понимаем и используем.
Читать полностью »
Нелинейная регрессия в Apache Spark. Разрабатываем своими руками
2016-12-08 в 19:53, admin, рубрики: Apache Spark, big data, machine learning, scala, машинное обучение
При решении задач обработки сигналов часто применяют метод аппроксимации сырых данных моделью регрессии. Исходя из структуры, модели можно разделить на три типа – линейные, сводящиеся к линейным и нелинейные. В модуле машинного обучения «Spark ML» Apache Spark функционал для первых двух типов представлен классами LinearRegression и GeneralizedLinearRegression соответственно. Обучение нелинейных моделей в стандартной библиотеке не представлено и требует самостоятельной разработки.
Читать полностью »
Strata + Hadoop 2016 review
2016-07-22 в 7:43, admin, рубрики: Apache Spark, big data, Business Intelligence, Hadoop, review, Блог компании Badoo, высокая производительность, конференции, Программирование
В последний год в Badoo стали очень активно использовать связку Hadoop + Spark и построили свою систему сбора и обработки десятков миллионов метрик при помощи Spark Streaming.
Для того чтобы расширить наши знания и познакомиться с последними новинками в этой сфере, в конце мая этого года разработчики отдела BI (Business Intelligence) отправились в Лондон, где проходила очередная конференция серии Hadoop + Strata, посвященная широкому спектру вопросов в области машинного обучения, обработки и анализа больших данных.
Читать полностью »
Spark Summit 2016: обзор и впечатления
2016-07-04 в 11:34, admin, рубрики: analytics, Apache Spark, big data, data mining, data science, machine learning, spark, wrike, Анализ и проектирование систем, Блог компании Wrike, хранение данных
В июне прошло одно из самых крупных мероприятий мира в сфере big data и data science — Spark Summit 2016 в Сан-Франциско. Конференция собрала две с половиной тысячи человек, включая представителей крупнейших компаний (IBM, Intel, Apple, Netflix, Amazon, Baidu, Yahoo, Cloudera и так далее). Многие из них используют Apache Spark, включая контрибьюторов в open source и вендоров собственных разработок в big data/data science на базе Apache Spark.
Мы в Wrike активно используем Spark для задач аналитики, поэтому не могли упустить возможности из первых рук узнать, что происходит нового на этом рынке. С удовольствием делимся своими наблюдениями.
IBM расширила возможности Apache Spark для мейнфреймов zSystems
2016-06-22 в 18:25, admin, рубрики: Apache Spark, IBM, zSystems, Блог компании IBM, Железо, серверы, Сетевое оборудование
Корпорация IBM уже заявляла о том, что Apache Spark для Linux будет поддерживаться zSystems. Такая поддержка будет осуществляться в рамках проекта «аналитика на мейнфреймах». Благодаря этому специалисты по дата-майнингу смогут использовать Apache Spark на мощных мейнфреймах zSystems.
Кроме того, заявлялось, что Apache Spark будет работать не только как сервис на платформе Bluemix, а систему также интегрируют и с другими облачными и аналитическими решениями, включая NoSQL-решение Cloudant и облачную платформу для хранения данных SashDB. Разработчики, используя Bluemix, смогут интегрировать свои проекты с аналитическими решениями и СУБД от IBM.
Читать полностью »
Производительность Apache Parquet
2016-04-26 в 23:47, admin, рубрики: apache hadoop, Apache Spark, avro, big data, csv, data mining, file format, parquet, performance tests, scala, кто читает теги?, сжатие данных, хранение данныхПлохой пример хорошего теста
Примечание переводчика:
Изначально статья задумывалась как вольный перевод текста Дона Дрейка (@dondrake) для Cloudera Engineering Blog об опыте сравнения Apache Avro и Apache Parquet при использовании Apache Spark. Однако в процессе перевода я углубился в детали и нашел в тестах массу спорных моментов. Я добавил к статье подзаголовок, а текст снабдил комментариями со злорадным указанием неточностей.
В последнее время в курилках часто возникали дискуссии на тему сравнения производительности различных форматов хранения данных в Apache Hadoop — включая CSV, JSON, Apache Avro и Apache Parquet. Большинство участников сразу отметают текстовые форматы как очевидных аутсайдеров, оставляя главную интригу состязанию между Avro и Parquet.
Господствующие мнения представляли собой неподтвержденные слухи о том, что один формат выглядит "лучше" при работе со всем датасетом, а второй "лучше" справляется с запросами к подмножеству столбцов.
Как любой уважающий себя инженер, я подумал, что было бы неплохо провести полноценные performance-тесты, чтобы наконец проверить, на чьей стороне правда. Результат сравнения — под катом.
Анализ поведенческих факторов с помощью Apache Spark
2016-04-03 в 12:40, admin, рубрики: Apache Spark, data mining, php, yii2, Разработка веб-сайтов Речь пойдёт об использовании Apache Spark для анализа поведенческих факторов на сайте, который имеет очень большую посещаемость. Учёт поведенческих факторов весьма часто используется для повышения конверсии ресурса. Кроме этого, возможности Интернет позволяют очень просто и быстро собирать и анализировать гигантское количество самой разной статистической информации. Будут показаны примеры кода и даны некоторые советы, основанные на личном опыте автора статьи.
Читать полностью »
Используем Apache Spark как SQL Engine
2016-01-21 в 8:52, admin, рубрики: Apache, Apache Spark, big data, open source, spark sql, sql, анализ данных, Блог компании Wrike 
Привет! Мы, Wrike, ежедневно сталкиваемся с потоком данных от сотен тысяч пользователей. Все эти сведения необходимо сохранять, обрабатывать и извлекать из них ценность. Справиться с этим колоссальным объёмом данных нам помогает Apache Spark.
Мы не будем делать введение в Spark или описывать его положительные и отрицательные стороны. Об этом вы можете почитать здесь, здесь или в официальной документации. В данной статье мы делаем упор на библиотеку Spark SQL и её практическое применение для анализа больших данных.