Рубрика «apache kafka» - 2

в 2:37, , рубрики: apache kafka, Consumer, java, Producer, Streams, Системы обмена сообщениями

Apache Kafka – мой конспект
Это мой конспект, в котором коротко и по сути затрону такие понятия Kafka как:
— Тема (Topic)
— Подписчики (consumer)
— Издатель (producer)
— Группа (group), раздел (partition)
— Потоки (streams)

Kafka — основное

При изучении Kafka возникали вопросы, ответы на которые мне приходилось эксперементально получать на примерах, вот это и изложено в этом конспекте. Как стартовать и с чего начать я дам одну из ссылок ниже в материалах.
Apache Kafka – диспетчер сообщений на Java платформе. В Kafka есть тема сообщения в которую издатели пишут сообщения и есть подписчики в темах, которые читают эти сообщения, все сообщения в процессе диспетчеризации пишутся на диск и не зависит от потребителей.
Читать полностью »

в 8:07, , рубрики: apache kafka, big data, java, scala, stream processing, Блог компании Контур, потоковая обработка данных, Программирование, стримы

* Michael G. Noll — активный контрибьютор в Open Source проекты, в том числе в Apache Kafka и Apache Storm.

Статья будет полезна в первую очередь тем, кто только знакомится с Apache Kafka и/или потоковой обработкой [Stream Processing].

В этой статье, возможно, в первой из мини-серии, я хочу объяснить концепции Стримов [Streams] и Таблиц [Tables] в потоковой обработке и, в частности, в Apache Kafka. Надеюсь, у вас появится лучшее теоретическое представление и идеи, которые помогут вам решать ваши текущие и будущие задачи лучше и/или быстрее.

Содержание:

* Мотивация
* Стримы и Таблицы простым языком
* Иллюстрированные примеры
* Стримы и Таблицы в Kafka простым языком
* Пристальный взгляд на Kafka Streams, KSQL и аналоги в Scala
* Таблицы стоят на плечах гигантов (на стримах)
* Turning the Database Inside-Out
* Заключение
Читать полностью »

в 4:50, , рубрики: Apache, apache kafka, Producer, Блог компании Tinkoff.ru, задержка, оптимизация, производительность, пропускная способность, Системы обмена сообщениями
Apache Kafka и миллионы сообщений в секунду - 1

Мы в компании любим и уважаем Apache Kafka, и в ознаменование выхода ее недавнего обновления я решил подготовить статью про ее производительность. А еще рассказать немного про то, как выжать из нее максимум.
Читать полностью »

в 10:55, , рубрики: .net, .net core, apache kafka, C#, Микросервисная архитектура
Создаем микросервисную архитектуру вместе с Apache Kafka и .NET Core 2.0 - 1

Доброго времени суток! Apache Kafka – очень быстрый распределенный брокер сообщений, и сегодня я расскажу как его “готовить” и реализовать с его помощью простую микросервисную архитектуру из консольных приложений. Итак, всем, кто хочет познакомиться с Apache Kafka и опробовать ее в деле, добро пожаловать под кат.Читать полностью »

в 10:02, , рубрики: ampq, apache cloudstack, apache kafka, devops, integration, виртуализация, интеграция, Облачные вычисления, разработка, Серверное администрирование, системное администрирование

Интеграция Apache CloudStack со сторонними системами. Подписка на события с помощью Apache Kafka - 1

В данной статье рассматривается подход к интеграции Apache CloudStack (ACS) со сторонними системами посредством экспорта событий в брокер очередей сообщений Apache Kafka.

В современном мире полноценное оказание услуг без интеграции продуктов практически невозможно. В случае сетевых и облачных сервисов, важной является интеграция с биллинговыми системами, системами мониторинга доступности, службами клиентского сервиса и прочими инфраструктурыми и бизнес-ориентирванными компонентами.Читать полностью »

в 10:25, , рубрики: apache kafka, Блог компании Badoo, высокая производительность, Программирование, Разработка систем передачи данных, Системы обмена сообщениями

Семантика exactly-once в Apache Kafka - 1

Всем привет! Меня зовут Юрий Лилеков, я работаю в Server Team Badoo. На днях мне попалась довольно интересная статья о новой семантике exactly-once в Apache Kafka, которую я с радостью для вас перевёл.

Читать полностью »

в 12:43, , рубрики: Aerospike, apache kafka, apache spark streaming, big data, python, recommender system, stream processing, Алгоритмы, Блог компании E-Contenta

Всем привет!

Сегодня мы расскажем о том, как с помощью потоковой обработки данных можно увеличить качество рекомендаций и снизить время отклика всей рекомендательной системы в 5 раз. Речь пойдет об одном из наших клиентов – сервисе потокового видео Rutube.

Рекомендации на потоке - 1
Читать полностью »

в 9:33, , рубрики: apache kafka, apache storm, big-data-bullshit, аналитика, Блог компании онлайн-кинотеатр ivi.ru, высокая производительность, разработка

I am Groot. Делаем свою аналитику на событиях

Весной этого года я узнал о возможности базы данных HP Vertica создавать запросы с матчингом паттернов событий. Так называемый Events Pattern Matching хорошо ложился под задачу анализировать поведение пользователей в продуктах ivi.ru. Мы решили попробовать разобраться с воронками оплаты, с поиском проблемных мест на устройствах, глубже погрузиться в анализ трафика. Нашей команде очень нравится, как реализована аналитика у Mixpanel и Localytics (она как раз основана на событиях и их свойствах), поэтому многие идеи были позаимствованы у них.
Читать полностью »

12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js