В предыдущих публикациях мы уже затрагивали проблему обработки событий в реальном масштабе времени. Сегодня мы хотели бы вновь вернутся к этой теме и рассказать о новом и весьма интересном инструменте — потоковой СУБД PipelineDB.
Читать полностью »
Рубрика «базы данных» - 35
PipelineDB: работа с потоками данных
2016-08-03 в 8:54, admin, рубрики: PipelineDB, selectel, Администрирование баз данных, анализ данных, анализ логов, базы данных, Блог компании Селектел, потоковые базы данных, селектел, метки: PipelineDBКак мы NoSQL в «реляционку» реплицировали
2016-08-03 в 6:20, admin, рубрики: good old days..., GT.m, MUMPS, nosql, oracle, sql, Анализ и проектирование систем, базы данных, Блог компании Банк «Ренессанс Кредит», репликацияВ наши дни NoSQL продолжает набирать популярность, но мало кто знает, что нереляционные СУБД появились гораздо раньше даже самой реляционной алгебры. 40 и даже 50 лет назад в первичном «бульоне» зарождающейся IT индустрии «варились» только NoSQL-продукты. И что самое интересное – продукты, рожденные в те сложные времена, живы до сих пор и прекрасно себя чувствуют.
Одним из таких продуктов стала СУБД GT.m, разработанная компанией Graystone Tehnologies в 70-80-х годах прошлого века. СУБД нашла широкое применение в медицине, страховании и банковской сфере.
В нашем банке мы тоже используем GT.m, и этот инструмент прекрасно справляется с обработкой большого количества транзакций. Но… Есть одна проблема: GT.m никакой для аналитики, в нем нет SQL, аналитических запросов и всего того, что делает финансового аналитика счастливым. Поэтому мы разработали собственный «велосипед» для репликации данных из GT.m в «реляционные» СУБД.
А вот здесь должна была быть картинка с летающим велосипедом
Всех заинтересованных приглашаем под кат.
Читать полностью »
Это данные, тупица, и почему администраторы баз данных важны как никогда?
2016-07-29 в 10:06, admin, рубрики: big data, IT-стандарты, nosql, sql, администрирование, базы данных
«Специализированные базы данных, облачные технологии и DevOps не упраздняют роль администраторов, а наоборот – расширяют их функции. Возможно, дело уже не только в таблицах. Но роль администратора БД до сих пор важна, даже если у этой профессии нет названия». Син Галагер
В воображении тех из нас, кто слишком долго работает в сфере информационных технологий, должность «администратор БД» («АБД») порождает довольно-таки специфические образы. Мы представляем кого-то, рвущего на себе волосы из-за проблем с бэкапами (резервными копиями), глюков со снимками файловой системы (снапшотами), вышедших из-под контроля схем, сорванных планов наращивания мощностей в связи с новыми требованиями приложений, вялотекущих запросов и вечных настроек производительности.
Все эти функции админов старой закалки ещё кое-где встречаются, особенно на крупных предприятиях, где гигантские кластеры баз данных по-прежнему правят дата-центрами. Но виртуализация, облачные хранилища данных, микросервисы, DevOps-подход к разработке и запуску приложений и ряд других факторов существенно изменили то, как организации хранят свои данные и управляют ими. Многие традиционные роли администратора БД представляются спорными в том счастливом новом мире, который обещает нам новое поколение баз данных.
Читать полностью »
MSK-IX скопирует в «резервную копию Рунета» глобальную базу IP-адресов RIPE NCC
2016-07-07 в 9:18, admin, рубрики: MSK-IX, базы данных, безопасность, домены, инвестиции, Минкомсвязи, провайдеры, Ростелеком, рунет, Текучка, телеком, хостинг, метки: MSK-IX, базы данных, безопасность, домены, инвестиции, Минкомсвязи, провайдеры, Ростелеком, рунет, Текучка, телеком, хостингКомпания MSK-IX, совместно с «Ростелекомом» владеющая крупнейшей точкой обмена трафика в России, инвестирует 70 млн рублей в создание «резервной копии» рунета. Разработкой копии займется Фонд развития сетевых технологий «Индата», принадлежащий MSK-IX. Об этом сообщаетЧитать полностью »
Пресс-секретарь президента: в базе данных Госдумы были ошибки, а у Путина не было
2016-07-06 в 10:10, admin, рубрики: авария, базы данных, Владимир Путин, Госвеб, Госдума, Дмитрий Песков, законотворчество, Текучка, метки: авария, базы данных, Владимир Путин, Госвеб, Госдума, Дмитрий Песков, законотворчество, Текучка29 июня 2016 года Совфед одобрил изменения в закон «Об оружии» — срок действия разрешения на хранение огнестрельного гражданского оружия был установлен в десть лет. 3 июля президент Владимир Путин подписал закон, и документ опубликовали на «Официальном портале правовой информации». Оказалось, что опубликованный текст отличается от того, что одобрил парламент: срок разрешения вновь сократился до пяти лет — Читать полностью »
Немного о повышении производительности БД: Практические советы
2016-07-04 в 7:00, admin, рубрики: 1сloud, базы данных, Блог компании 1cloud.ru, оптимизация, Разработка под e-commerce
/ фото Ozzy Delaney CC
Мы в 1cloud много рассказываем о собственном опыте работы над провайдером виртуальной инфраструктуры и тонкостях организации внутренних процессов. Сегодня мы решили немного поговорить об оптимизации БД.Читать полностью »
«Яндекс» запустил «Аудитории», доступ к офлайновым клиентам через онлайн
2016-06-29 в 7:50, admin, рубрики: B2B, базы данных, запуск, Интернет-реклама, кейсы, контекстная реклама, персональные данные, Текучка, яндекс, Яндекс.Аудитории, метки: b2b, базы данных, запуск, интернет-реклама, кейсы, контекстная реклама, персональные данные, Текучка, яндекс, Яндекс.Аудитории«Яндекс» представил сервис Яндекс.Аудитории на ежегодной конференции YaCM. Сервис позволяет загружать, исследовать, разбивать аудиторию существующего офлайн бизнеса на целевые группы для показа им сфокусированной онлайн рекламы (или намеренного не показа рекламы «плохим клиентам»).
Я.Аудитории принимают от рекламодателя список email адресов, Читать полностью »
Яндекс открывает ClickHouse
2016-06-15 в 8:00, admin, рубрики: big data, c++, clickhouse, columnar database, olap, open source, sql, базы данных, Блог компании Яндекс, веб-аналитика, структуры данных, яндексСегодня внутренняя разработка компании Яндекс — аналитическая СУБД ClickHouse, стала доступна каждому. Исходники опубликованы на GitHub под лицензией Apache 2.0.
ClickHouse позволяет выполнять аналитические запросы в интерактивном режиме по данным, обновляемым в реальном времени. Система способна масштабироваться до десятков триллионов записей и петабайт хранимых данных. Использование ClickHouse открывает возможности, которые раньше было даже трудно представить: вы можете сохранять весь поток данных без предварительной агрегации и быстро получать отчёты в любых разрезах. ClickHouse разработан в Яндексе для задач Яндекс.Метрики — второй по величине системы веб-аналитики в мире.
В этой статье мы расскажем, как и для чего ClickHouse появился в Яндексе и что он умеет; сравним его с другими системами и покажем, как его поднять у себя с минимальными усилиями.
PostgreSQL — не Rocket Science. Почем сейчас яйца?
2016-05-31 в 8:02, admin, рубрики: dba, mysql, postgresql, sql, web-разработка, базы данных, Разработка веб-сайтов
Постоянно натыкаюсь на высказывания из серии «PostgreSQL слишком сложная база для моего небольшого проекта, поэтому буду продолжать работать с MySQL».
В этой статье я хотел бы показать, что человеку, знающему MySQL, не составит абсолютно никакого труда начать разрабатывать под PostgreSQL
Читать полностью »
DevConf::Storage — отдай голос за свою любимую базу данных до 31 мая
2016-05-27 в 10:12, admin, рубрики: devconf, mysql, postgresql, sql, Администрирование баз данных, базы данных, Блог компании DevConf
Большая конкуренция наблюдается за выбор базы данных в секции Storage программы DevConf 2016 — должны остаться только лучшие и интересные доклады.
Голосование продлится до 31 мая, сформируем программу вместе!
Представляем вашему вниманию 11 кандидатов на участие:
Крылья, ноги и хвосты: сильные стороны MySQL и когда PostgreSQL завоюет мир
Алексей Копытов
В наш гибридный век как разработчикам, так и администраторам часто приходится иметь дело со многими разными СУБД. Знание сильных и слабых сторон каждого продукта становится всё более важным навыком, но информация по этим вопросам, которую можно найти в сети, имеет целый ряд проблем: быстрая потеря актуальности в связи с постоянным и быстрым развитием популярных СУБД, разрозненность, а также предвзятость и зачастую некомпетентность авторов.
Мастер-мастер репликация в Tarantool
Konstantin Osipov
Расскажу как устроена и как пользоваться мастер-мастер репликацией в Tarantool:
- инициализация кластера
- добавление и удаление узлов
- разрешение конфликтов
- восстановление после аварии
- мониторинг состояния.
Вместе посмотрим на производительность.
Читать полностью »