Рубрика «базы данных»

Хочу поддержать жанр статей «что под капотом» и рассказать подробности реализации проекта code-magic.com — базы данных сниппетов со смысловым поиском.

Как появилась идея проекта

Читать полностью »

Секреты стройности монолита: подходы по снятию нагрузки с БД - 1

Привет! Меня зовут Олег Кретинин, и я разработчик в команде общих компонентов в Яндекс Еде. Сегодня я расскажу о том, как мы смогли успешно снять нагрузку с нашей базы данных, а также уменьшить её размер.

Читать полностью »

Привет! Меня зовут Михаил Килинский, я — Senior Developer в проекте Data Warehouse «Лаборатории Касперского». Наша команда строит хранилища данных и разрабатывает ETL- и ELT-процессы, мы пишем на Python, SQL и C# (.NET), а весь код находится в монорепозитории.

Озеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышло - 1

Читать полностью »

Безумные и забавные факты о SQLite - 1

  1. SQLite — самая часто разворачиваемая и используемая база данных. На текущий момент активно используется более одного триллиона (1000000000000 или миллиона миллионов) баз данных SQLite.

    Её поддерживают три человека. Они не допускают внешних контрибьюторов.

  2. Скорее всего, SQLite используется больше, чем все остальные движки баз данных суммарно. В мире работают миллиарды копий SQLite. Её можно встретить повсюду.
    Безумные и забавные факты о SQLite - 2

  3. К тому же, есть такая вероятность, что это один из пяти наиболее часто разворачиваемых программных модулей.
    Безумные и забавные факты о SQLite - 3

  4. За разработкой SQLite стоит компания Hwaci. Кажется, она занимается и музыкой (?).
    Безумные и забавные факты о SQLite - 4

  5. Изначально SQLite создавалась для корабля ВМС США. Ричард Хипп (D. Richard Hipp, DRH) разрабатывал ПО для эсминца USS Oscar Austin. Раньше ПО корабля просто переставало работать при выходе из строя сервера (это было в 2000-х). Для боевого корабля это неприемлемо.

    Поэтому DRH задался вопросом: что, если база данных будет работать без какого-либо сервера?Читать полностью »

Как я сделал PR на 14К строк в проект YDB будучи студентом - 1

В этой статье я хотел бы рассказать о задаче, решение которой легло в основу моей дипломной работы. В ноябре 2023 года я был студентом Физтеха — учился на базовой кафедре Яндекса, программа обучения которой реализуется совместно с ШАД. Задача заключалась в переводе парсера языка запросов YQL (диалект SQL для Читать полностью »

Недавно я участвовала в разработке курса для администраторов баз данных. Одной из ключевых тем, которые хотелось осветить, помимо прочих, были инъекции — атаки, направленные на веб-приложения и базы данных. Однако, обсуждая программу с коллегами, я столкнулась с мнением, что эта тема может оказаться сложной для понимания начинающими специалистами, и даже некоторые миддлы могут испытывать затруднения с пониманием на уровне концепции.

Читать полностью »

Эксперимент по ускорению SQLite - 1


SQLite быстра, но можно ли сделать её ещё быстрее? Исследователи из Университетов Хельсинки и Кембриджа задались этим вопросом и опубликовали работу Serverless Runtime / Database Co-Design With Asynchronous I/O. В ней они продемонстрировали возможность 100-кратного снижения времени задержки, и ниже я в общих чертах эту их работу прокомментирую.

Речь пойдёт об исследовании возможностей Limbo — переписанной на Rust версии SQLite.Читать полностью »

Недавно мы представили два пул-реквеста в ClickHouse, которые значительно повышают производительность JOIN'ов в распространенных сценариях.

Недавно мы представили два новых пул-реквеста в ClickHouse, которые будут доступны в ClickHouse 24.4. Эти изменения повышают производительность JOIN'ов во многих производственных сценариях, в некоторых случаях увеличивая скорость выполнения запросов на несколько порядков.

Пул-реквест №1: Проталкивание предикатов JOIN с применением классов эквивалентности

Читать полностью »

Продуктовые обновления ноября: 100% кешбэк на CDN, новые конфигурации в БД и другое - 1

Привет! Я — Настя, технический писатель в Selectel. В дайджесте рассказываю, какие обновления в продуктах и услугах произошли в ноябре. Вы узнаете, как бесплатно контролировать трафик в облачных серверах, получить доступ к двухнедельному тестированию ML- и Inference-платформ, а также скачать дистрибутив SelectOS. Подробнее — под катом.Читать полностью »

Вы когда-нибудь задумывались, почему некоторые SQL-запросы работают быстро, а другие заставляют ждать вечность? Оптимизация запросов — одна из важнейших задач при работе с базами данных, особенно если речь идет о больших объемах данных. Сегодня мы разберем конкретный пример и покажем, как сделать запрос максимально эффективным.

Запрос для анализа:

select *
from person p
left join city c on c.cityId = p.cityId
Where p.name = 'abc'
and convert(varchar(10), p.age) = '99'
and p.gender = 1

Задача: улучшить производительность этого запроса. Приступим!

1. Уберите * из оператора SELECT

Использование SELECT *Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js