Рубрика «sql»

Привет! Меня зовут Александр Овсов, я RnD-разработчик в компании Just AI. Занимаюсь прототипированием новых фич продукта Jay Knowledge Hub и исследованиями новых возможностей LLM. Jay Knowledge Hub — это умная платформа для поиска по неразмеченным корпоративным данным, созданная на базе RAG и AI-агентов.

Читать полностью »

В экосистеме PostgreSQL, где стандартный SQL является фундаментом, истинное мастерство раскрывается через понимание и применение его расширенных возможностей. Книга Евгения Моргунова «PostgreSQL. Профессиональный SQL» служит мостом от базовых знаний к продвинутому использованию языка SQL в среде PostgreSQL. Она предоставляет глубокие знания для работы со сложными запросами, аналитикой и серверной логикой.

Читать полностью »
ещё один велосипед автора

ещё один велосипед автора

Речь пойдет о моем пет-проекте - SSDF (super SQL data flow).

Когда-то я работал в одной компании, у нас было ХД на MSSQL и самописный велосипед для организации ETL/data flow; так и назывался - dataflow.

Выглядел он следующим образом (если описывать вкратце).

Читать полностью »

Уже через год мы будем общаться с базами данных по-русски - 1

По прогнозу Gartner, запросы на естественном языке вытеснят SQL уже в 2026 году. Самое главное из исследования на русском языке собрано в этом посте

Возможно, прогноз Gartner чересчур оптимистичный, но если они и ошибаются, то только в сроках — сам переход на естественный язык в работе с БД неизбежен. 

Читать полностью »

Рассмотрим потребление оперативной памяти (RAM) при загрузке pandas DataFrame из базы данных (БД).

Для этого воспользуемся мониторингом ресурсов на базе библиотеки psutil. Мониторинг фиксирует pss («Proportional Set Size») память, т. е. физически занимаемую процессом.

Используем небольшую таблицу синтетических транзакций:

Пример данных в таблице БД

Пример данных в таблице БД

Читать полностью »

Работая с базами данных в Go, многие из нас сталкивались с библиотекой pgx — высокопроизводительным драйвером для PostgreSQL. Однако при всей ее мощи есть одна неудобная особенность: сканирование результатов запросов в структуры может быть довольно громоздким, особенно когда речь идет о вложенных структурах или списках.

Проблема неудобного сканирования в go/pgx

Читать полностью »

Петербургский Фонд капитального ремонта опубликовал документы, в которых указана задолженность за каждую квартиру в городе по итогам 2024 года. Мы изучили эти файлы, чтобы ответить на вопрос: где и почему хуже всего платят за ремонт в своём доме.

Я занимаюсь анализом данных и дата-журналистикой в газете "Деловой Петербург". Расскажу о том, как объединяли информацию из множества локальных html-таблиц и приведу примеры кода на "Питоне".

Читать полностью »
Photo by Lauren Mancke on Unsplash

Photo by Lauren Mancke on Unsplash

Мы все знаем, насколько важен SQL для любой работы, связанной с анализом данных. Он пользуется популярностью благодаря возможности извлечения значимой информации из данных и предоставления мощных инструментов для их обработки и анализа.

Читать полностью »

Индексы — важнейший инструмент оптимизации запросов в базах данных. В PostgreSQL одним из вариантов является хеш-индекс. В отличие от B-tree, он работает исключительно с операциями равенства (=) и использует бакеты для хранения ссылок на строки таблицы. Давайте разберёмся, как PostgreSQL управляет этими бакетами, какие особенности у хеш-индекса и в каких случаях его применение оправдано.

Что такое бакеты в хеш-индексе PostgreSQL?

При создании хеш-индекса PostgreSQL применяет хеш-функцию к каждому значению индексируемого столбца. Результат хеширования определяет, в какой бакет (bucket) попадёт запись.

📌 Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js