Привет! Недавно в нашем офисе прошёл митап по Кафке. Очные места на него разлетелись со скоростью света. Как сказал один из спикеров: «Кафка секси».
С коллегами из Booking.com, Confluent, и Авито мы обсуждали подчас нелёкую интеграцию и поддержку Кафки, последствия её скрещивания с Kubernetes, а также известные и собственноручно написанные коннекторы для PostgreSQL
Мы смонтировали видео докладов, собрали со спикеров презентации и отобрали красивые фотографии с митапа. Если вам интересно посмотреть и послушать — заходите под кат.
Видеозаписи докладов
Коннекторы: зачем вас так много — Анатолий Солдатов, Авито
Анатолий рассказал, что такое коннекторы, какие преимущества и недостатки есть у JDBC и Debezium, и как мы в Авито пришли к идее написания своего CDC коннектора.
00:00 — Представление спикера
04:09 — Что такое Kafka Connect, какие коннекторы существуют
18:10 — Для чего обычно используется Connect
23:47 — Первый кейс Авито: data-bus
28:20 — Второй кейс Авито: как мы сделали свой CDC коннектор
41:28 — Ответы на вопросы слушателей
Как приручить Apache Kafka? Опыт Booking.com — Александр Миронов, Booking.com
Александр поделился историями о ком, какие сложности возникли у его команды при работе с Кафкой, и как их решили.
00:00 — Представление спикера
06:22 — Какие проблемы появились при росте количества юзкейсов использования Кафки
08:58 — Создание абстракций для пользователей
14:15 — Аутентификация и секьюрити кластеров
23:53 — Сontrol plane, который всё связывает
27:41 — Забавные и не очень истории из практики
34:00 — Ответы на вопросы слушателей
Kafka на Kubernetes: а по Хуану ли сомбреро? — Виктор Гамов, Confluent
Виктор ответил на вопрос о том, стоит ли запускать Apache Kafka и обрабатывающие потоки приложения на Kubernetes.
00:00 — Представление спикера
05:19 — Проблемы запуска stateful-приложений на Kubernates
17:52 — Kubernetes pod
22:33 — Работа с хранилищем
28:24 — Custom Kubernetes controllers
48:58 — Rolling upgrade
58:05 — Ответы на вопросы слушателей
Плейлист со всеми видео можно найти на нашем ютуб-канале.
Фотографии
Фотографии с митапа мы выложили в Фейсбуке и ВКонтакте. Посмотрите, как всё прошло, и отмечайте себя и друзей, если были на встрече.
Скоро вернемся с анонсами новых мероприятий в московском офисе Авито. До новых встреч!
Автор: Анна Лесных
