Всем привет!
Меня зовут Александр, я руковожу отделом Data Team в Badoo. Сегодня я расскажу вам о том, как мы выбирали оптимальный алгоритм для вычисления квантилей в нашей распределённой системе обработки событий.
Рубрика «spark» - 4
Выбор алгоритма вычисления квантилей для распределённой системы
2017-07-07 в 12:58, admin, рубрики: big data, java, map reduce, spark, Алгоритмы, Блог компании Badoo, квантиль, ПрограммированиеАнонс Moscow Spark #2
2017-07-06 в 11:34, admin, рубрики: big data, ml, python, scala, spark, Блог компании Rambler&Co, машинное обучение
Как мы и обещали, наше мероприятие становится регулярным – 27 июля состоится Moscow Spark #2! Moscow Spark #1, организованный группой компаний Rambler&Co, собрал больше 200 участников, и мы надеемся, что жаркая погода, которая когда-нибудь установится в московском регионе, не помешает нам собрать столько же (и даже больше) участников в этот раз. Тем более, что мы нашли новых, интересных докладчиков.
Читать полностью »
Big Data в Райффайзенбанке
2017-07-05 в 14:27, admin, рубрики: big data, data lake, Hadoop, hortonworks, spark, Блог компании РайффайзенбанкВсем привет!
В этой статье мы расскажем про Big Data в Райффайзенбанке.
Но прежде чем перейти к сути, хотелось бы внести ясность по поводу самого определения Big Data. Действительно, в последние несколько лет этот термин употреблялся во множестве контекстов, что привело к размытию границ самого термина и потере содержательной части. Мы в Райффайзенбанке выделили три направления, которые мы относим к Big Data:
Читать полностью »
Про аналитику и серебряные пули или «При чем здесь Рамблер-топ-100?»
2017-07-05 в 7:19, admin, рубрики: Aerospike, big data, clickhouse, python, spark, Блог компании Rambler&Co, веб-аналитика, Рамблер, рамблер топ100
Всем привет! Я тимлид проекта Рамблер/топ-100. Это лонгрид о том, как мы проектировали архитектуру обновлённого сервиса веб-аналитики, с какими сложностями столкнулись по пути и как с ними боролись. Если вам интересны такие базворды как Clickhouse, Aerospike, Spark, добро пожаловать под кат.Читать полностью »
Два дрона DJI: одомашненные драконы
2017-07-03 в 11:59, admin, рубрики: dji, Gearbest, Mavic, Mavic Pro, spark, Spark Mini, Блог компании Gearbest.com, гаджеты, квадрокоптер, мультикоптерыЛето — пожалуй, самое подходящее время для видеосъёмки и эффектных кадров с высоты: ралли, водные приключения, рок-фестивали, фестивали электронной музыки, отпуск в самых невероятных местах. И вот оно, ощущение последней пары лет — экшн-камеры патологически перестало хватать. Хочется видеть мир не только своим глазами, но глазами сзади, сбоку, сверху. В общем, нужно больше панорамных впечатлений. Есть дроны: либо хорошие и запредельно дорогие, либо совсем дешевые поделки. Вот бы засунуть Phantom в карман, да ещё и не платить за него пару тысяч баксов. Как вы могли догадаться, будущее уже здесь, мечты сбываются. На этот раз их исполняет DJI. Новые дроны получились совсем ручные — смотрите сами.
Читать полностью »
DJI Mavic Pro vs. DJI Spark — разбор полётов
2017-05-26 в 14:37, admin, рубрики: DJI Mavic Pro, spark, Блог компании Madrobots, гаджеты, дроны, Железо, квадрокоптеры, мультикоптеры
24 мая китайская компания DJI представила потребительский мини-квадрокоптер Spark. Как и в случае со всеми остальными презентациями лидера мирового дроностроения, это событие вызвало крайне восторженную и бурную реакцию. Причем она была абсолютно оправдана: новый дрон DJI стал настоящим технологическим чудом. Снова.
DJI Spark, с одной стороны, является логичным продолжением тренда на миниатюризацию беспилотников, поддержанного DJI еще осенью 2016 года с выпуском складного квадрокоптера DJI Mavic Pro. С другой — это ничто иное, как правильно сделанный селфи-дрон, появления которого так ждали на международной выставке CES-2017.
Читать полностью »
Конфигурирование Spark на YARN
2017-04-28 в 9:40, admin, рубрики: Apache Spark, big data, data mining, spark, YARN, Блог компании New Professions Lab, машинное обучение Вчера на митапе, посвященном Apache Spark, от ребят из Rambler&Co, было довольно много вопросов от участников, связанных с конфигурированием этого инструмента. Решили по его следам поделиться своим опытом. Тема непростая — поэтому предлагаем делиться опытом тоже в комментариях, может быть, мы тоже что-то не так понимаем и используем.
Читать полностью »
Курсы Computer Science клуба, весна 2017
2017-04-10 в 12:21, admin, рубрики: big data, CUDA, functional programming, gpgpu, gpu, gpu programming, idris, spark, Блог компании СПБАУ, Большие данные, зависимые типы, функциональное программирование
Computer Science клуб вот уже 10 лет проводит открытые курсы по компьютерным наукам. Большинство этих лекций стараниями Лекториума записаны на видео и лежат в открытом доступе. В этом семестре выложены уже три новых курса, которые до этого не читались в клубе: «Программирование с зависимыми типами на языке Idris», «Вычисления на GPU. Основные подходы, архитектура, оптимизации», «Методы и системы обработки больших данных».
Читать полностью »
Статистические компоненты: основы и практика
2017-04-09 в 12:55, admin, рубрики: pandas, php, spark, yii, анализ данных, машинное обучение, Разработка веб-сайтов, статистика1. Вступление
В широком спектре приложений можно встретить весьма различный функционал обработки статистики, которая необходима как для отчётов, так и для автоматизации работы самого приложения (рейтинги, рекомендации, результаты поиска). Заметка содержит краткое описание некоторых основных методов анализа информации, а также примеры исходного кода, предназначенного для обработки статистики, сбора и подготовки данных.
Статистический компонент — это часть приложения или отдельный сервис, который выполняет обработку информации, включая удобное для пользователя отображение отчёта. В некоторых архитектурах его создают в качестве отдельного сервиса, взаимодействующего посредством API или очередей (RabbitMQ, Redis). Генерация графиков и диаграмм может происходить непосредственно в браузере (Chart.js, D3.js и подобные решения) на основании полученных в JSON данных, а может выполняться заранее (в формате PNG), т.е. в момент обработки данных. Таким образом, с технической точки зрения сервис (модуль, компонент) может быть внешним проектом, реализованным на другом языке программирования.
Мифы о Spark, или Может ли пользоваться Spark обычный Java-разработчик
2017-03-31 в 7:27, admin, рубрики: java, jpoint, jug.ru, scala, spark, Блог компании JUG.ru Group, мифы о spark, ПрограммированиеПродолжаем расшифровывать и местами облагораживать хардкорные доклады спикеров JPoint 2016. Сегодня доклад поменьше, всего час с копейками, соответственно, концентрация пользы и отжига на одну минуту зашкаливает.
Итак, Евгений EvgenyBorisov Борисов о Spark, мифах и немного о том, дествительно ли тексты Pink Floyd адекватнее, чем у Кэти Пэрри.
Это будет необычный доклад о Spark.
Обычно много рассказывают про Spark, какой он крутой, показывают код на Scala. Но у меня немного другая цель. Во-первых, я поговорю о том, что такое Spark и зачем он нужен. Но основная цель — показать, что вы, как Java-девелоперы, можете прекрасно им пользоваться. В этом докладе мы развеем несколько мифов о Spark.
Читать полностью »