Привет! Это снова Станислав М***, реабилитированный инвалид. Рассказываю про свой опыт выздоровления.
Поможет тем, кто инвалид. Также рекомендую рассказывать эту историю тогда, если хотите кого-то вдохновить. Если инвалид сумел преодолеть трудности, то и подавно — сможет каждый.
Автор: Сергей Ветров
Пятнадцать тысяч лет назад (датировки сильно разнятся, но нам оно и не принципиально) на территории современной Монголии в глубоких темных и теплых норках собрались три главных действующих лица: суслик тарбаган, блоха и псевдотуберкулезная палочка Yersinia pseudotuberculosis.
В основе Apache Kafka находится лог — простая структура данных, которая использует последовательные операции, работающие в симбиозе с оборудованием. Эффективное использование дискового буфера и кэша процессора, prefetch, передача данных zero-copy и много других радостей — все это благодаря построенной на логе структуре, которая славится своей эффективностью и пропускной способностью. Обычно эти преимущества, а еще базовая реализация в виде лога коммитов, — первое, что люди узнают о Kafka.
Код самого лога составляет относительно малую часть всей системы. Гораздо больше занимает код, который отвечает за организацию партиций (т. е. логов) на множестве брокеров в кластере — назначает лидеров, обрабатывает сбои и т. д. Этот код и делает Kafka надежной распределенной системой.
Раньше важной частью работы распределенного кода был Apache ZooKeeper. Он хранил самые важные метаданные системы: где находятся партиции, кто из реплик лидер и т. д. Читать полностью »
