Хочу поддержать жанр статей «что под капотом» и рассказать подробности реализации проекта code-magic.com — базы данных сниппетов со смысловым поиском.
Рубрика «базы данных»
База данных сниппетов со смысловым поиском: что «под капотом»
2025-02-11 в 6:45, admin, рубрики: administration, bash, cheatsheets, opensearch, support, базы данных, семантический поиск, сниппеты, языковые моделиСекреты стройности монолита: подходы по снятию нагрузки с БД
2025-02-03 в 7:00, admin, рубрики: doctrine, haproxy, highload, mysql, php, postgresql, базы данных, монолит, монолитная архитектура, оптимизацияПривет! Меня зовут Олег Кретинин, и я разработчик в команде общих компонентов в Яндекс Еде. Сегодня я расскажу о том, как мы смогли успешно снять нагрузку с нашей базы данных, а также уменьшить её размер.
Озеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышло
2025-01-27 в 6:15, admin, рубрики: data, data engineering, data lake, data warehouse, dwh, архитектура данных, базы данных, данные, корпоративное хранилище данных, хранилище данныхПривет! Меня зовут Михаил Килинский, я — Senior Developer в проекте Data Warehouse «Лаборатории Касперского». Наша команда строит хранилища данных и разрабатывает ETL- и ELT-процессы, мы пишем на Python, SQL и C# (.NET), а весь код находится в монорепозитории.
Безумные и забавные факты о SQLite
2025-01-15 в 13:01, admin, рубрики: ruvds_перевод, sqlite, базы данных, открытый исходный код, СУБД- SQLite — самая часто разворачиваемая и используемая база данных. На текущий момент активно используется более одного триллиона (1000000000000 или миллиона миллионов) баз данных SQLite.
Её поддерживают три человека. Они не допускают внешних контрибьюторов.
- Скорее всего, SQLite используется больше, чем все остальные движки баз данных суммарно. В мире работают миллиарды копий SQLite. Её можно встретить повсюду.
- К тому же, есть такая вероятность, что это один из пяти наиболее часто разворачиваемых программных модулей.
- За разработкой SQLite стоит компания Hwaci. Кажется, она занимается и музыкой (?).
- Изначально SQLite создавалась для корабля ВМС США. Ричард Хипп (D. Richard Hipp, DRH) разрабатывал ПО для эсминца USS Oscar Austin. Раньше ПО корабля просто переставало работать при выходе из строя сервера (это было в 2000-х). Для боевого корабля это неприемлемо.
Поэтому DRH задался вопросом: что, если база данных будет работать без какого-либо сервера?Читать полностью »
Как я сделал PR на 14К строк в проект YDB будучи студентом
2025-01-15 в 9:33, admin, рубрики: antlr4, ydb, базы данных, парсинг, яндексВ этой статье я хотел бы рассказать о задаче, решение которой легло в основу моей дипломной работы. В ноябре 2023 года я был студентом Физтеха — учился на базовой кафедре Яндекса, программа обучения которой реализуется совместно с ШАД. Задача заключалась в переводе парсера языка запросов YQL (диалект SQL для Читать полностью »
SQL-инъекции для начинающих
2025-01-14 в 23:20, admin, рубрики: архитектура бд, атаки, базы данных, инъекции, начинающим, хакерыНедавно я участвовала в разработке курса для администраторов баз данных. Одной из ключевых тем, которые хотелось осветить, помимо прочих, были инъекции — атаки, направленные на веб-приложения и базы данных. Однако, обсуждая программу с коллегами, я столкнулась с мнением, что эта тема может оказаться сложной для понимания начинающими специалистами, и даже некоторые миддлы могут испытывать затруднения с пониманием на уровне концепции.
Эксперимент по ускорению SQLite
2025-01-10 в 13:01, admin, рубрики: ruvds_перевод, sqlite, базы данных, бессерверные вычисления, исследования в it, обработка данных, оптимизация, периферийный вычисления
SQLite быстра, но можно ли сделать её ещё быстрее? Исследователи из Университетов Хельсинки и Кембриджа задались этим вопросом и опубликовали работу Serverless Runtime / Database Co-Design With Asynchronous I/O. В ней они продемонстрировали возможность 100-кратного снижения времени задержки, и ниже я в общих чертах эту их работу прокомментирую.
Речь пойдёт об исследовании возможностей Limbo — переписанной на Rust версии SQLite.Читать полностью »
Мы ускорили JOIN в ClickHouse… в 100 раз
2024-12-20 в 15:09, admin, рубрики: clickhouse, join, базы данныхНедавно мы представили два пул-реквеста в ClickHouse, которые значительно повышают производительность JOIN'ов в распространенных сценариях.
Недавно мы представили два новых пул-реквеста в ClickHouse, которые будут доступны в ClickHouse 24.4. Эти изменения повышают производительность JOIN'ов во многих производственных сценариях, в некоторых случаях увеличивая скорость выполнения запросов на несколько порядков.
Пул-реквест №1: Проталкивание предикатов JOIN с применением классов эквивалентности
Продуктовые обновления ноября: 100% кешбэк на CDN, новые конфигурации в БД и другое
2024-12-13 в 9:07, admin, рубрики: ml, selectel, базы данных, выделенные серверы, облако, облачные сервисы, объектное хранилищеПривет! Я — Настя, технический писатель в Selectel. В дайджесте рассказываю, какие обновления в продуктах и услугах произошли в ноябре. Вы узнаете, как бесплатно контролировать трафик в облачных серверах, получить доступ к двухнедельному тестированию ML- и Inference-платформ, а также скачать дистрибутив SelectOS. Подробнее — под катом.Читать полностью »
9 способов прокачать SQL-запрос: оптимизация для разработчиков
2024-12-05 в 12:16, admin, рубрики: sql, базы данных, оптимизация запросов к базам данныхВы когда-нибудь задумывались, почему некоторые SQL-запросы работают быстро, а другие заставляют ждать вечность? Оптимизация запросов — одна из важнейших задач при работе с базами данных, особенно если речь идет о больших объемах данных. Сегодня мы разберем конкретный пример и покажем, как сделать запрос максимально эффективным.
Запрос для анализа:
select *
from person p
left join city c on c.cityId = p.cityId
Where p.name = 'abc'
and convert(varchar(10), p.age) = '99'
and p.gender = 1
Задача: улучшить производительность этого запроса. Приступим!
1. Уберите * из оператора SELECT
Использование SELECT *
Читать полностью »