Всем привет! Меня зовут Максим, я руководитель одной из групп эксплуатации инфраструктурных сервисов в Ozon. Наша команда занимается поддержкой и развитием нескольких базовых сервисов компании, одним из которых, по историческим причинам, является сервис разрешения доменных имен (DNS).
Рубрика «распределенные системы» - 2
Через реки, через лес прямо к PowerDNS
2023-03-15 в 10:36, admin, рубрики: BGP, DNS, EDNS, high availability, maintenance, multi-dc, ozon tech, postgresql, powerdns, recursor, Блог компании Ozon Tech, распределенные системы, системное администрированиеКак работают объектные хранилища: OpenStack Swift
2023-03-07 в 14:36, admin, рубрики: open source, openstack swift, Блог компании Selectel, объектное хранилище, отказоустойчивость, распределенные системы, хранилища данныхНеожиданный мартовский мороз ласкает щеки городских жителей, спешно марширующих вдоль проспектов по направлению к своим рабочим местам. В их головах широким спектром разливается сладкая истома — предвкушение отдыха.
Раз меньше времени работе, то больше — знаниям. Меня зовут Рома, и я работаю в объектном хранилище — самой высоконагруженной услуге Selectel. Здесь мы непрерывно трудимся над улучшением и развитием архитектуры, удовлетворяя спрос на пропускную способность, функциональность и надежность.
В первой части я поделился сложностями, которые возникают при попытке построить распределенное и отказоустойчивое хранилище для объектов. Та система, которую мы позволили себе нафантазировать, очень похожа на OpenStack Swift. С него начиналась история нашего продукта, так что мы можем не только разобрать принцип его работы «на пальцах», но и погрузиться в скрытые особенности OpenSource, которые проявляются лишь в больших масштабах.
Читать полностью »
Что такое BitTorrent v2, и что с ним произошло?
2023-02-18 в 20:23, admin, рубрики: bittorrent v2, p2p, trackers, децентрализованные сети, распределенные системы, Сетевые технологииНаверное вы слышали о новом протоколе BitTorrent v2, работа над которым велась с 2008-го года, и наделала шум с выходом второй версии популярной торрент-библиотеки Libtorrent, которой пользуются знакомые вам торрент-клиенты, такие как QBittorrent, Deluge и многие другие.
Первая полноценная бумага для стандартизации BEP0052Читать полностью »
Распределенный SQL: альтернатива шардированию баз данных
2023-02-03 в 13:00, admin, рубрики: nosql, ruvds_перевод, sql, базы данных, Блог компании RUVDS.com, распределенные системы, распределенный sql, хранение данных, шардированиеШардирование баз данных – это процесс разделения данных на меньшие части, называемые «шарды». Эта техника обычно используется, когда возникает потребность в масштабировании записей. В течение жизненного цикла успешного приложения способность сервера его базы обрабатывать операции записи рано или поздно достигает своего предела. Деление данных на несколько шардов – с размещением каждого на собственном сервере БД – уменьшает нагрузку на отдельные узлы, по сути, повышая записывающую способность базы данных в целом. Этот процесс и является шардингом.
Распределённый SQL представляет новый способ масштабирования реляционных баз данных с помощью полностью автоматизированной и прозрачной для приложений стратегии, подобной шардингу. Распределённые БД SQL изначально спроектированы под практически линейное масштабирование. В текущей статье вы познакомитесь с основами распределённого SQL и узнаете, как начать работу с этими базами данных.Читать полностью »
VPN Gate, или — неубиваемая Великим Китайским Файрволом распределённая сеть VPN
2023-01-06 в 19:30, admin, рубрики: bittorrent, dns tunnel, gfw, icmp tunnel, openvpn, p2p, SoftEther, vpn, информационная безопасность, распределенные системы, Сетевые технологии, системное администрирование, цензураСегодня речь пойдёт о технологии распределённой сети VPN Gate, своего рода недруга Поднебесной в области интернет цензуры. На Хабре много статей на тему SoftEther VPN (нижележащий слой VPN Gate), но нет ни одной технически всесторонней статьи про саму распределённую сеть и такое чувство, что в рунете про неё вообще забыли.
VPN Gate — академический эксперимент Дайу Нобори с 2013-го года. Проект представляет собой интернет-сервис научных исследований в Высшей Школе Университета Цукуба, Япония. Цель данного исследования заключается в расширении знаний «Глобальных распределенных открытых ретрансляторов VPN».
Как работают объектные хранилища: объясняем на практике и собственных шишках
2022-12-16 в 8:27, admin, рубрики: openstack swift, Блог компании Selectel, консистентное хеширование, объектное хранилище, отказоустойчивость, распределенные системы, хранилища данныхБыть может, специфика такого хранилища прячется в задачах, которые оно решает? Сложно сказать наверняка, ведь сегодня объектные хранилища занимаются массой вещей: от раздачи статического контента до хранения бэкапов и бэкенда аналитических баз данных.
Попытки понять природу непривычных ограничений порождают лишь новые вопросы: почему можно удалять только пустой контейнер? Почему нельзя быстро перенести большой объем данных из одного контейнера в другой? Да и вообще, что это за название такое — объектные — и какая магия творится под капотом?
На связи Рома из команды объектного хранилища Selectel, и я изучил наш опыт разработки и поддержки такого продукта на протяжении 10 лет. Под катом находится первая часть истории, где я поделюсь своими открытиями о теоретической части вопроса.
Читать полностью »
Основные архитектурные шаблоны построения ПО
2022-11-18 в 13:00, admin, рубрики: ruvds_перевод, архитектурные шаблоны, Блог компании RUVDS.com, распределенные системы, Серверное администрирование, системное администрирование, шаблоны проектированияКраткий обзор восьми наиболее востребованных архитектурных шаблонов с иллюстрациями:
Как НЕ надо строить надежные системы
2022-11-13 в 10:00, admin, рубрики: ruvds_перевод, Анализ и проектирование систем, антипаттерны проектирования, архитектура по, Блог компании RUVDS.com, надежные системы, распределенные системыПри проектировании системы знание анти-паттернов и подвохов зачастую оказывается более полезным, чем знание самих паттернов. Отталкиваясь от этой идеи, я решил написать данную статью, чтобы рассказать о факторах, которые, на мой взгляд, приведут к созданию ненадёжных систем. В её основе лежит мой собственный опыт проектирования преимущественно распределённых корпоративных приложений. Будет здорово, если ниже вы поделитесь собственным опытом и полезными идеями по теме. Читать полностью »
Как мы сжимаем данные в больших проектах
2022-06-22 в 10:15, admin, рубрики: tarantool, tarantool cartridge, Администрирование баз данных, Блог компании VK, высокая производительность, кластер, распределенные системы, сжатие данныхПривет! Меня зовут Александр Кленов, и я работаю в Tarantool. В апреле вышел Tarantool 2.10 Enterprise Edition – обновленная версия платформы in-memory вычислений. В версии 2.10 появилось несколько новых функций, о которых уже немного рассказывали на Хабре.