Я занимаюсь АТСками. И как-то так сложилась, что с самого первого заказа от меня хотели отказоустойчивости. Одним из ключевых компонентов современной АТС (как и любой информационной системы, наверное) является БД, где хранятся как данные о текущем состоянии системы, так и всякие конфигурационные параметры. Естественно, падение БД приводит к поломке всей системы. Начиналось все с MASTER-MASTER репликации в MySQL (исключительно для оперативности переключения), потом были эксперименты с MySQL over DRBD. Все это жило в pacemaker/corosync инфраструктуре. Там ездили IP-адреса, шлюзы и прочая лабудень. Со временем оно даже стало работать как-то более-менее устойчиво. Но тут мне попалась пара серверов, на которых DRBD сделать было нельзя, в MASTER-MASTER я разочаровался довольно давно (постоянно она у меня ломается, такая репликация), а без отказоустойчивой БД терялся весь смысл решения. На глаза мне попалось название InnoDB cluster и я решил: "была-не-была". Что из этого получилось — смотрите под катом.
Рубрика «базы данных» - 28
InnoDB cluster — оно работает, и вроде бы именно так, как обещали
2017-07-06 в 0:13, admin, рубрики: clusterization, innodb, mysql, Администрирование баз данных, базы данных, хранилища данныхЧто может пойти не так на сайте метапоисковика и что с этим делать? Часть 2
2017-06-17 в 13:17, admin, рубрики: api, UI, базы данных, Блог компании Травелата, интерфейсы, туризм, Управление e-commerce, Управление продуктом, управление разработкойМетапоисковик — это не так просто, как кажется. Почему мы не можем подгружать сразу все туры? Почему так часто меняется цена? Кто виноват, когда тур “ушёл”, и как выкрутиться перед клиентом?
Об этих и других проблемах и багах сайта Travelata.ru я рассказал в первой части. Продолжаем публичную порку самих же себя.
Отельная страница
Когда открывается серп, направляется запрос в кеш, который хранится от 15 минут до нескольких часов. В момент открытия отельной страницы, если на отель из кеша пришло менее 3 туров, к ТО отправляется новый запрос на поиск по названию отеля. И могут приехать новые цены. Актуальные.
Почему вообще приходится так часто отправлять запросы к ТО?
По большей части причина в динамическом ценообразовании. Особенности современных турпакетов — цены меняются несколько раз в течение дня в зависимости от загрузки рейса и отеля и популярности тура. Пересчёт происходит автоматически в системе или делается вручную маркетологами туроператора. Где-то ежеминутно, а где-то несколько раз в неделю.
Вторая причина — туры просто быстро раскупают.
MySQL 8, Postgres NoSQL, Tarantool Винил, CockroachDB, ClickHouse, и все-же, почему Uber ушел от Postgresql?
2017-06-07 в 4:38, admin, рубрики: CockroachDB, mariadb, mysql, nosql, postgresql, tarantool, Анализ и проектирование систем, базы данных, Блог компании DevConf
17 июня в Москве, Измайлово пройдет конференция Devconf::Storage
Базы данных становятся все чудесатее и чудесатее. Традиционные RDBMS становятся NoSQL, а новые движки становятся кластерными, распределенными и колоночными.
Олег Бартунов, известный разработчик Postgres, хочет рассказать чем их база лучше MongoDB при работе с JSON, а его коллега Иван Панченко — о том, как писать для постгреса на perl, python и javascript.
Антон Околелов расскажет как перейти с MySQL, чтобы ощутить мощь Postgres, а другой докладчик, Алексей Копытов расскажет почему Uber сделал точно наоборот, и ушел с Postgres на MySQL.
Читать полностью »
По дороге с облаками. Реляционные базы данных в новом технологическом контексте
2017-06-06 в 13:40, admin, рубрики: azure sql, big data, cloud computing, cloud storage, Microsoft Azure, базы данных, Блог компании Издательский дом «Питер», книги, Профессиональная литератураПривет! Мы задумываемся об издании не совсем обычной книги, автор которой желает изложить очень интересную трактовку современного технологического ландшафта, охватывающего базы данных и технологии обработки Big Data. Автор полагает, что без активного использования облаков никуда не деться, и рассказывает об этом ландшафте именно в таком ракурсе.
Об авторе:
Александр Васильевич Сенько, кандидат физико-математических наук в области компьютерного моделирования и оптимизации мощных сверхвысокочастотных приборов.
Автор имеет сертификаты Microsoft в области создания приложений в среде Microsoft Azure: Microsoft Certified Professional и Microsoft Specialist: Developing Microsoft Azure Solutions. В 2008 году закончил Белорусский Государственный Университет Информатики и Радиоэлектроники (БГУИР) по специальности “Моделирование и компьютерное проектирование радиоэлектронных средств”. С 2007 по 2012-й годы автор работает в научно-исследовательском институте ядерных проблем БГУ на должностях техника, лаборанта, инженера. С 2013 года по настоящее время автор работает в компании ISSoft Solutions на должности разработчика ПО и DevOps с специализацией в области создания облачных приложений на базе стека Microsoft
Под катом вы сможете оценить идеи и стиль автора. Не стесняйтесь голосовать и комментировать — и добро пожаловать под кат!
Читать полностью »
Лекции Технопарка. Базы данных (весна 2017)
2017-06-01 в 12:18, admin, рубрики: mysql, postgresql, sql, Анализ и проектирование систем, базы данных, Блог компании Mail.Ru Group, разработка, технопарк
Всем жаждущим знаний предлагаем ознакомиться с новыми лекциями Технопарка, посвящённым базам данных. Курс ведёт Артём Навроцкий, ведущий программист в Allods Team.
Список лекций:
Национальная система данных о здоровье создана во Франции
2017-05-16 в 23:39, admin, рубрики: big data, базы данных, данные, Законодательство и IT-бизнес, здоровье, здравоохранение, персональные данныеВ апреле 2017 года во Франции запущена национальная система данных о здоровье, объединяющая данные о здоровье пациентов из различных источников (« Système national des données de santé » — SNDS).
Система является уникальной в Европе. Она объединяет в себе уже существующие базы данных страховых компаний, больниц, информацию о смертельных случаях и информацию об инвалидности. Эти объединенные данные предполагается использовать для проведения медицинских исследований на основе больших данных и в отношении длящихся заболеваний.
Содержание системы. В систему включены данные о Читать полностью »
Всё, что вы не знали о CAP теореме
2017-05-16 в 11:28, admin, рубрики: acid, base, cap, cassandra, mongodb, nosql, pacelc, postgresql, Анализ и проектирование систем, архитектура, базы данных, проектирование, проектирование баз данных, распределенные системыВо время моего первого опыта работы с распределенными системами я постоянно сталкивался с некой CAP-теоремой, пришлось изрядно покопать, чтобы изучить и осознать её со всех сторон. Я не являюсь мастером баз данных, но надеюсь, что мое маленькое исследование мира распределённых систем будет полезно для обычных разработчиков. В статье я расскажу о том, что такое CAP, его проблемы и альтернативы, а также рассмотрим некоторые популярные системы баз данных через CAP призму.
Читать полностью »
Журнал и база данных IoT событий. Быстрый старт с iRidium server
2017-05-12 в 12:31, admin, рубрики: автоматизация, базы данных, Блог компании iRidium mobile, Интернет вещей, умный домДовольно часто необходимо видеть, когда и что случилось в системе автоматики. Для серьёзных проектов нужно иметь доступ к базе данных таких событий, часто за длительное время.
Случилась авария, открывалась дверь, сработал датчик. Температура падала до -10, поэтому лопнула труба. Кто-то ночью приходил в офис — записи камер потерялись, зато вот логи сенсоров движения. В общем, полезная вещь.
Читать полностью »
«Наиболее серьезной возможностью я, конечно, считаю мультимастер», — Иван Фролков о разработке Postgres Pro EE
2017-05-12 в 9:07, admin, рубрики: postgresql, sql, базы данных, Блог компании PG Day'17 Russia, интервьюДорогие коллеги, рады предложить вашему вниманию второй выпуск нашей новой рубрики «интервью с разработчиками баз данных». Мы поговорили с Иваном Фролковым, разработчиком компании Postgres Professional. Иван занимается прикладной разработкой для баз данных уже свыше 20 лет. Сегодня, Иван приокроет завесу тайны и поведает про новые интересные возможности «отечественного Посгреса», Postgres Pro: EE.
PG Day: Расскажи немного, пожалуйста, как давно ты занимаешься базами данных и вообще в профессии состоишь, в каких амплуа и так далее.
Читать полностью »
Часть 3. Где хранить данные децентрализованным приложениям на блокчейне?
2017-05-04 в 10:51, admin, рубрики: big data, blockchain, byzantine fault tolerance, cassandra, elassandra, elasticsearch, Ethereum, nosql, open source, Анализ и проектирование систем, базы данных, блокчейн, децентрализация, децентрализованные сети, концепт, криптография, мотивация, хранение данных, хранилище данныхВ первой части статьи мы обнаружили проблемы с хранением данных приложений в блокчейне. Во второй части мы описали требования к хранилищу данных и рассмотрели, насколько существующие реализации отвечают этим требованиям. Результаты были неутешительные — удовлетворительной реализации не нашлось. В данной части мы предложим концепцию децентрализованного хранилища данных, которое удовлетворяет поставленным требованиям. Разумеется, для более глубокого понимания сути происходящего рекомендуется просмотреть две предыдущие части.
Читать полностью »