В прошлой статье мы рассмотрели кластеризацию RabbitMQ для обеспечения отказоустойчивости и высокой доступности. Теперь глубоко покопаемся в Apache Kafka.
Здесь единицей репликации является раздел (partition). У каждого топика один или несколько разделов. В каждом разделе есть лидер с фолловерами или без них. При создании топика указывается количество разделов и коэффициент репликации. Обычное значение 3, это означает три реплики: один лидер и два фолловера.
Читать полностью »
Отказоустойчивость и высокая доступность — большие темы, так что посвятим RabbitMQ и Kafka отдельные статьи. Данная статья о RabbitMQ, а следующая — о Kafka, в сравнении с RabbitMQ. Статья длинная, так что устраивайтесь поудобнее.
Рассмотрим стратегии отказоустойчивости, согласованности и высокой доступности (HA), а также компромиссы, на которые приходится идти в каждой стратегии. RabbitMQ может работать на кластере узлов — и тогда классифицируется как распределенная система. Когда речь заходит о распределенных системах, мы часто говорим о согласованности и доступности.
Эти понятия описывают, как система ведет себя при сбое. Сбой сетевого соединения, сбой сервера, сбой жесткого диска, временная недоступность сервера из-за сборки мусора, потеря пакетов или замедление сетевого соединения. Все это может привести к потере данных или конфликтам. Оказывается, практически невозможно поднять систему, одновременно и полностью непротиворечивую (без потери данных, без расхождения данных), и доступную (будет принимать операции чтения и записи) для всех вариантов сбоя.
Читать полностью »
Приветствую вас, уважаемые читатели. В предыдущей статье я рассказал, как сделать простую звонилку в браузере при помощи PeerJS. А сегодня планирую рассмотреть, как обмениваться сообщениями между двумя пользователями напрямую без задержек.
Кому это интересно? Если Вы разрабатываете онлайн игру, в которой необходим быстрый обмен данными между игроками, тогда прямой обмен сообщениями это пожалуй то, что вам нужно.
Читать полностью »
11 июня 2019 разработчики Matrix.org Foundation объявили о релизе Matrix 1.0 — протокола для реализации федеративной сети, построенной на основе линейной истории событий (events) внутри ациклического графа (DAG). Самым распространённым способом использования протокола является реализация серверов сообщений (например, сервер Synapse, клиент Riot) и «соединение» других протоколов друг с другом посредством мостов (например, реализация на libpurple с поддержкой XMPP, Telegram, Discord и IRC).
Основным новшеством (и обязательным условием использования) сервера Synapse 1.0 — реализации протокола Matrix 1.0 — является использование TLS сертификата (бесплатный Let's Encrypt тоже подходит) для домена сервера, что обеспечивает защищенную передачу данных между серверами, участвующими в федеративной сети. Поэтому если вы используете self-signed сертификат для своего домашнего сервера — необходимо создать валидный сертификат — иначе ваш сервер перестанет взаимодействовать с другими серверами сети.
Для того, чтобы продолжать пользоваться Скайпом как классической программой, должно выполняться одно из требований — простота регистрации (однофакторная, без телефона и других избыточных действий). Рассмотрим текущие проблемы пользования Скайпом и истории о том, как обойтись без телефона.
Собственно, MS с радостью бы придушили эту свободу, чем они планомерно занимаются. Что-то их держит не перекрыть все выходы до конца. К примеру, Гугл душить не стремится, хотя мог бы. Есть, видимо, в мире много сервисов, не дающих сказать MS-овцам "Мы просто делаем, как все".
Поначалу придётся остановиться на вопросе, касающемся не только Скайпа, почему местами важно не соглашаться на телефоны, СМС и регистрацию по месту жительства, если есть простая задача пользования современными интернет-коммуникациями без последствий. Если хотите, немного паранойи, но её совсем немного, а есть ряд обычных рассуждений, довольно азбучных, существующих с момента появления интернета и коммуникаций.
Эта статья является продолжением цикла статей про асинхронность:
Спустя 3 года я решил расширить и обобщить имеющийся спектр асинхронного взаимодействия с использованием сопрограмм. Помимо этих статей также рекомендуется ознакомиться с универсальным адаптером:
Рассмотрим электрон. Что он из себя представляет? Отрицательно заряженная элементарная частица, лептон, обладающий некоторой массой. Это означает, что он может участвовать по меньшей мере в электромагнитных и гравитационных взаимодействиях.
Читать полностью »
Друзья, в черновиках эта статья было уже давно, дописать ее меня сподвигнул визит к клиенту, который опять не смог найти в SharePoint документы из каталога.
В моей рабочей практике был период в одной организации, когда я формально ничем не руководил, но боссы прощаться со мной не хотели. В это время я был менеджером по быстрому решению проблем. Задачи, которые другие решали бы за три дня, я решал за три часа. Босс вызывал меня, обрисовывал ситуацию, просил «мол, надо сегодня», и я делал. Потому что я уже знал, что и как работает в нашей компании и к кому по какому вопросу надо обратиться.
А как вы ищете информацию в вашей организации? Возможно, что так, как описано ниже. Если вы новый сотрудник – вы по любому новому вопросу спрашиваете своего начальника. Он начинает вам представлять новых людей. Если ему хватает терпения, то постепенно ваша контактная база растет. В какой-то момент наступает ситуация, что вы уже знаете всех ключевых людей, вы разобрались кто чем занимается, знаете, что у кого спрашивать. При возникновении вопроса связываетесь с нужным человеком и все у него узнаёте. С технической точки зрения это означает, что индексация вашего личного поисковика проводилась несколько месяцев или лет, индекс находится в вашей голове, и ищете вы в головах ваших коллег.
Что еще есть кроме личных контактов?Читать полностью »
В Лаборатории вычислительной техники и искусственного интеллекта Массачусетского технологического института (CSAIL MIT) специалисты по безопасности создали систему обмена сообщениями, защищающуюся от прослушки. В отличие от обычного подхода с усилением шифрования, они предлагают сеть, в которой полезные сообщения прячутся за лавиной «мусорного» трафика.
Сеть сообщений специалисты назвали "Вувузела". Эти запомнившиеся даже тем, кто не любит спорт, пластиковые рожки с ужасным «голосом», стали известны после чемпионата мира по футболу 2010 года. Вдохновившись производимым этими устройствами шумом, разработчики решили назвать свою сеть так же.
По сути, сообщения, исходящие от отправителей, передаются в сеть и хранятся на случайно выбранных серверах, составляющих её, которые разработчики назвали просто «почтовыми ящиками». Прежде чем быть сохранённым в одном из ящиков, сообщение проходит через несколько серверов, которые отправляют подложный трафик на все соседние с ними сервера, затрудняя отслеживание работы сети и перемещение сообщений.
Читать полностью »
Основатель социальной сети Secret для обмена тайнами Дэвид Байтау рассказал изданию «Секрет фирмы» о своей жизни до проекта, об работе над Secret и о том, как поражение обернуть в свою пользу с помощью специальной мантры.Читать полностью »
В этот раз мы решили разнообразить наш блог и внести элемент практики. Опубликованные ранее статьи касались различных технологий, теперь же пришло время рассказать, какие проекты мы реализуем. Первым станет проект по аутсорсингу IBM Lotus Domino/Notes инфраструктуры одного крупного европейского финансового холдинга с филиалами в разных частях света, который стартовал в 2010 году. Наша компания выполняла заказ на данный проект, получив в результате успешный кейс в портфолио. О том, как мы делаем свою работу, и какие знания и опыт в области аутсорсинга IBM Lotus Domino/Notes готовы применять в следующих проектах, расскажем далее. Читать полностью »
