Рубрика «отказоустойчивость»
Как Elasticsearch поломал сборки и «обнулил» звёзды в Github
2024-10-30 в 20:50, admin, рубрики: elastic, elasticsearch, отказоустойчивостьКазалось бы, майская история с Docker hub должна была научить всех нас уделять больше времени на обеспечение целостности артефактов проекта, но на то мы и люди, чтобы учиться на своих (и чужих) ошибках не с первого раза. В этой статье я поведаю про настоящую историю, которая в этот раз не связана с образами, но связана с библиотеками.
Обыкновенный вторник второй половины октября, через час запланирован релиз в продакшн, ничего не предвещало, а ожидаемые заказчиком фичи уже протестированы вдоль и поперёк, ожидая своего часа.
Понимание кругового DNS
2024-10-29 в 12:15, admin, рубрики: Round Robin DNS, балансировка трафика, облачные сервисы, отказоустойчивость, распределение нагрузки, тестирование сайтовДля OpenFreeMap я использую серверы за Round Robin DNS. В этой статье я пытаюсь понять, как браузеры и CDN выбирают, какой из них использовать.
Что такое циклический DNS?
Обычно, когда вы обслуживаете веб-сайт с помощью VPS, например Digital Ocean или Hetzner, вы добавляете одну запись A в панель управления вашего DNS-провайдера.
Это означает, что rr-direct.hyperknot.com будет обслуживать данные с 5.223.46.55.
Как организовать анализ большого объема данных в реальном времени
2024-08-01 в 11:13, admin, рубрики: olap, oltp, tarantool, tarantool column store, архитектура, отказоустойчивость
С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем.
Go Tarantool: как построить Key-value-хранилище на сотни тысяч запросов в секунду
2024-07-19 в 10:24, admin, рубрики: tarantool, архитектура, отказоустойчивость
С увеличением сложности ИТ-систем все больше становится очевидной ограниченность привычных реализаций с простой архитектурой компонентов. Особенно это заметно в случае систем, которые должны стабильно работать с большими и интенсивными нагрузками.
А в чем проблема работать с файлами?
2024-03-28 в 8:00, admin, рубрики: .net, восстановление, данные приложения, отказоустойчивое хранилище, отказоустойчивость, сбой, файловая система, файлы, хранение данных, целостностьПриветствую.
Год назад меня сильно увлекла тема отказоустойчивости приложений. Я начал изучать различные аспекты ее реализации в программах и больше всего меня заинтересовал процесс работы с диском. Ресурсов для изучения много, но они все разбросаны по сети и мне понадобилось время, чтобы сложить все кусочки пазла. Здесь я попытаюсь этот пазл собрать воедино, чтобы структуризировать полученные знания.
Для начала разберем путь операции записи, начиная с самого приложения.
Приложение
Все начинается в нашем коде. Обычно имеется интерфейс для работы с файлами. Это зависит от ЯП, но примеры:
-
fwrite- C
Отказоустойчивая архитектура: почему Tarantool не падает?
2023-10-24 в 9:01, admin, рубрики: tarantool, архитектура, отказоустойчивость
Основная проблема в высоконагруженных приложениях — отказоустойчивость. Нагрузка с упавших узлов в кластере должна переключаться на живые. Это кажется несложной задачей, но на практике появляется много подводных камней. Мы с yngvar_antonsson потратили много времени на поддержку различных кластеров, построенных на Tarantool и наших кластерных фреймворках Cartridge и TDG, и сегодня расскажем вам, как обеспечивается отказоустойчивость в наших приложениях. Будет интересно всем, кто хочет подробнее узнать, как устроен фейловер в Cartridge, и тем, кто хочет узнать о нашем опыте создания автоматических фейловеров.
Читать полностью »
Хороший ретрай, плохой ретрай, или История одного падения
2023-09-27 в 7:00, admin, рубрики: circuit breaker, retry, даунтайм, отказоустойчивость, распределенные системыПорой простое и очевидное решение может потянуть за собой хвост проблем в будущем. Например, добавление ретраев.
Меня зовут Денис Исаев, и я работаю в Яндекс Go. Сегодня я поделюсь опытом решения проблем с отказоустойчивостью из-за ретраев. Основано на реальных инцидентах в системе из 800 микросервисов.
Этот пост — продолжение вымышленных историй о разработчике Васе, который несколько лет назад разбирался с идемпотентностью в распределённых системах. Теперь перед ним новые задачи — получится ли справиться с ними в этот раз? Давайте узнаем.
YTsaurus: основная система для хранения и обработки данных Яндекса теперь open source
2023-03-20 в 10:57, admin, рубрики: big data, c++, open source, YTsaurus, Блог компании Яндекс, Большие данные, инфраструктура, отказоустойчивость
Привет! Меня зовут Максим Бабенко, я руковожу отделом технологий распределённых вычислений в Яндексе. Сегодня мы выложили в опенсорс платформу YTsaurus — одну из основных инфраструктурных BigData-систем, разработанных в Яндексе.
Как работают объектные хранилища: OpenStack Swift
2023-03-07 в 14:36, admin, рубрики: open source, openstack swift, Блог компании Selectel, объектное хранилище, отказоустойчивость, распределенные системы, хранилища данных
Неожиданный мартовский мороз ласкает щеки городских жителей, спешно марширующих вдоль проспектов по направлению к своим рабочим местам. В их головах широким спектром разливается сладкая истома — предвкушение отдыха.
Раз меньше времени работе, то больше — знаниям. Меня зовут Рома, и я работаю в объектном хранилище — самой высоконагруженной услуге Selectel. Здесь мы непрерывно трудимся над улучшением и развитием архитектуры, удовлетворяя спрос на пропускную способность, функциональность и надежность.
В первой части я поделился сложностями, которые возникают при попытке построить распределенное и отказоустойчивое хранилище для объектов. Та система, которую мы позволили себе нафантазировать, очень похожа на OpenStack Swift. С него начиналась история нашего продукта, так что мы можем не только разобрать принцип его работы «на пальцах», но и погрузиться в скрытые особенности OpenSource, которые проявляются лишь в больших масштабах.
Читать полностью »