Рубрика «базы данных» - 20

в 7:40, , рубрики: clickhouse, cloud, database migrations, database tools, mongodb, postgresql, Администрирование баз данных, базы данных, Блог компании Яндекс, облачные сервисы, облачные хранилища, яндекс
Пост подготовили участники команды Яндекс.Облака: Иван Веткасов — архитектор, Леонид Клюев — редактор

Как без даунтайма масштабировать базы данных в Яндекс.Облаке. Пример с тремя хостами - 1Недавно мы рассказали об архитектуре Яндекс.Облака. Теперь давайте перейдем от теории к практике. В Облаке есть несколько сервисов для автоматизированного контроля за СУБД: Managed Service for ClickHouse, Managed Service for PostgreSQL и Managed Service for MongoDB. Все они являются платформенными и позволяют сосредоточиться на задаче хранения данных, а не на администрировании инфраструктуры. Но иногда бывает важно контролировать ещё и виртуальные машины кластера. Например, может возникнуть задача масштабирования в ответ на увеличение или снижение нагрузки. Обычно этот сценарий — один из самых трудоёмких с практической точки зрения. Сегодня мы расскажем, как Яндекс.Облако позволяет автоматизировать сложные задачи масштабирования, и убедимся, что база остаётся доступной в процессе изменения размера кластера.

Читать полностью »

в 13:01, , рубрики: badoo, highload, mysql, Администрирование баз данных, базы данных, Блог компании Badoo, высокая производительность, оптимизация, Разработка веб-сайтов, реляционные базы данных, Серверная оптимизация

Оптимизация реляционных баз данных без даунтайма на примере самой нагруженной БД в Badoo - 1

В условиях highload сложность оптимизации реляционных баз данных возрастает на порядок, так как покупка ещё более мощного железа обходится дорого а также уже нет возможности просто выключить приложение ночью для долгого процесса альтера БД и миграции данных.

Недавно мы рассказали, как мы оптимизировали PHP-код нашего приложения. Теперь же пришёл черёд статьи про то, как мы полностью изменили внутреннюю структуру самой нагруженной и важной базы данных в Badoo, не потеряв при этом ни одного запроса.
Читать полностью »

в 7:27, , рубрики: Microsoft SQL Server, sql, базы данных, Блог компании SimbirSoft, разработка

Хотим поделиться историей, которая произошла на одном из наших проектов под Новый год. Суть проекта в том, что он автоматизирует работу врачей в медицинских учреждениях. Во время визита пациента доктор записывает информацию на диктофон, затем аудиозапись транскрибируется. После процесса транскрибирования – т.е. превращения аудиозаписи в текст – формируется медицинский документ по соответствующим стандартам и высылается обратно в клинику, откуда пришла аудиозапись, где ее получает отправивший врач, проверяет и утверждает. После прохождения обязательных проверок документ отсылается конечным пациентам.
Читать полностью »

в 5:01, , рубрики: Go, mongodb, redis, Анализ и проектирование систем, базы данных, Блог компании «Колёса Крыша Маркет», микросервисы, Программирование, распределенные системы, хранение данных

Одна из малозаметных, но важных функций наших сайтов объявлений — сохранение и отображение количества их просмотров. Наши сайты следят за просмотрами объявлений уже больше 10 лет. Техническая реализация функциональности успела несколько раз измениться за это время, и сейчас представляет из себя (микро)сервис на Go, работающий с Redis в качестве кэша и очереди задач, и с MongoDB в качестве персистентного хранилища. Несколько лет назад он научился работать не только с суммой просмотров объявления, но еще и со статистикой за каждый день. А вот делать все это действительно быстро и надежно он научился совсем недавно.

image

В сумме по проектам, сервис обрабатывает ~300 тысяч запросов на чтение и ~9 тысяч запросов на запись в минуту, 99% которых выполняются до 5мс. Это, конечно, не астрономические показатели и не запуск ракет на Марс — но и не такая тривиальная задача, какой может показаться простое хранение чисел. Оказалось, что делать все это, обеспечивая сохранение данных без потерь и чтение согласованных, актуальных значений требует определенных усилий, о которых мы расскажем ниже.
Читать полностью »

в 6:01, , рубрики: agile, big data, data science, design, machine learning, Qiwi, techday, UX, базы данных, Блог компании QIWI, конференции, микросервисы, разработка серверных приложений, тестирование, Тестирование IT-систем

Привет!

17 декабря (понедельник) мы устраиваем TECHDAY MAKE IT REAL – специально для тех, кто предпочитает красивым речам об инновациях их внедрение.

Techday Make IT Real — 17 декабря, Москва - 1

— На любой конференции вы можете услышать про миллион чужих фантазий о применении современных технологий. Вам расскажут о том, как они создали воздушные замки, о том, как они убивают в них гоблинов и троллей. Все это прекрасно, но это — сказки. Мы же попробуем вам рассказать о том, как это выглядит в действительности.

Кирилл Ермаков

Формально techday будет разделен на две части: основную программу и активности на тематических площадках.

Список спикеров, программа и ссылка на регистрацию — под катом. Участие бесплатное.
Читать полностью »

в 10:56, , рубрики: devops, kubernetes, Stolon, Администрирование баз данных, Анализ и проектирование систем, базы данных, Блог компании Флант, системное администрирование

8 ноября в главном зале конференции HighLoad++ 2018, в рамках секции «DevOps и эксплуатация», прозвучал доклад «Базы данных и Kubernetes». В нём рассказывается о высокой доступности баз данных и подходах к отказоустойчивости до Kubernetes и вместе с ним, а также практических вариантах размещения СУБД в кластерах Kubernetes и существующие для этого решения (включая Stolon для PostgreSQL).

Базы данных и Kubernetes (обзор и видео доклада) - 1

По традиции рады представить видео с докладом (около часа, гораздо информативнее статьи) и основную выжимку в текстовом виде. Поехали!Читать полностью »

в 12:08, , рубрики: cassandra, DataGrip, GoLand, intellij idea, jetbrains, mysql, nosql, phpstorm, postgresql, pycharm, sql, sql server, Администрирование баз данных, базы данных, Блог компании JetBrains

Привет! Это рассказ о том, что нового в нашем плагине для баз данных. Мы выпускаем его, как отдельный продукт DataGrip, и поставляем почти во все другие наши IDE. Будет много картинок и гифок. Для тех, кому лень их смотреть:

— Поддержка Cassandra
— Создание SQL-файлов из объектов схемы
— Новые инспекции
— Много новых штук в автодополнении
— Работа с источником данных через одно подключение
— Новый поиск
— Высококонтрастная цветовая схема

Спасибо тем, кто пробует EAP-версии и сообщает в наш трекер о проблемах: это помогает не дотащить их до релиза :) Активные пользователи уже получили бесплатные подписки на год.

image
Читать полностью »

в 12:49, , рубрики: clickhouse, cloud, cloud hosting, Conference, meetup, Администрирование баз данных, базы данных, Блог компании Яндекс, облако, Облачные вычисления, облачные сервисы, яндекс

Приглашаем на about:cloud — первое мероприятие про облачные технологии от команды Яндекс.Облака - 1

Встреча about:сloud — первое крупное мероприятие для широкой аудитории от команды Яндекс.Облака. Если вы интересуетесь облачными технологиями, администрируете системы и сети или разрабатываете ПО, то приходите к нам в гости! Вы сможете пообщаться с техническими руководителями всех сервисов облака, многие из которых подготовили доклады о том, как они создают платформу, и о планах на ближайшее будущее.
Читать полностью »

в 12:00, , рубрики: GEDMatch, MyHeritage, базы данных, Биотехнологии, геном, днк, информационная безопасность, расшифровка генома, секвенирование
Взломщики генома продемонстрировали, что ни одна ДНК уже не будет анонимной - 1

В 2013 году молодой специалист по вычислительной биологии, Янив Эрлих, шокировал исследовательское сообщество, показав, как можно раскрыть личности людей, перечисленных в анонимной генетической базе данных, используя только соединение с интернетом. Регуляторы отреагировали на это, ограничив доступ к наборам анонимных биомедицинских генетических данных. Представитель Национальных институтов здоровья сообщил тогда: «Шансы на то, что это случится, для большинства людей малы, хотя и не нулевые».

Перенесёмся через пять лет, и мы обнаружим, что количество информации о ДНК, хранящейся в цифровых базах, увеличился взрывообразно, и этот рост не собирается замедляться. Потребительские компании вроде 23andMe и Ancestry составили генетические профили на более 12 млн людей, согласно недавним оценкам. Пользователи, скачавшие свою информацию, могут по желанию добавить её на публичные генеалогические сайты, например, GEDmatch, приобретший в этом году дурную славу благодаря своей роли в наводке полиции на подозреваемого в деле «убийцы Золотого штата».
Читать полностью »

в 20:31, , рубрики: dba, Администрирование баз данных, базы данных, высокая производительность, карьера, Карьера в IT-индустрии, конспект, конференции, Презентации

Первый конспект лекции с HighLoad был встречен позитивно, поэтому продолжаю.
Второй лекцией выбрал интересный материал, который нашел отклик как по конспекту, так и в зале. На мой взгляд, этот доклад может быть интересен всем, особенно начинающим специалистам.

В докладе затронуты вопросы:

  • Кем собственно мы хотим стать?
  • Надо-ли оно нам?
  • Теоретические навыки
  • Практические навыки (технические)
  • Практические навыки (нетехнические)

image
Читать полностью »

1...10...192021...3040...50
Рейтинг@Mail.ru
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js