Недавно, на хабре вышла статья про один нюанс в оптимизаторе PostgreSQL [1]. Будучи предельно технической и скучной по-определению, она триггернула интересную дискуссию в комментах и дала мне, как разработчику систем баз данных, возможность взглянуть на систему с точки зрения разработчика приложений. Это оказалось продуктивным для обеих сторон и привело к патчу и треду в сообществе. Данный пост - про ещё одну точку оптимизации - использование конструкции VALUES в выражениях SQL.
Рубрика «Query»
PostgreSQL ‘VALUES -> ANY’ transformation: должна ли СУБД делать работу за пользователя?
2024-10-03 в 11:15, admin, рубрики: optimisation, postgresql, Query, sqlРабота с MongoDB Oplog: Как отслеживать изменения документов
2024-08-10 в 19:41, admin, рубрики: analystics, journal, logs, mongodb, oplog, QueryСтатья, в основном, ориентирована для специалистов, которые столкнулись с проблемой "исчезающих" документов в MongoDB и не понимающих, где найти историю этих документов, была ли она вообще сохранена в коллекции или же была обновлена и удалена, и в какой последовательности происходили все эти действия и в какое время.
jsqry — лучше, чем jq
2020-10-30 в 12:41, admin, рубрики: cli, ECMAScript, javascript, jq, json, node.js, nodejs, Query, quickjsВ своей прошлой статье на Хабре я писал про библиотеку Jsqry, которая предоставляет простой и удобный язык запросов (DSL) к объектам JSON. С тех пор прошло много времени и библиотека тоже получила свое развитие. Отдельный повод для гордости — библиотека имеет 98% покрытие кода тестами. Однако в этой статье речь не совсем о ней.
Думаю, многие из вас знакомы с инструментом jq, который является практически стандартом де-факто для работы с JSON в командной строке и скриптах. Я тоже являлся её активным пользователем. Но меня все время беспокоила неоправданная сложность и неинтуитивность синтаксиса запросов этой утилиты. И не меня одного, вот лишь несколько цитат с hacker news:
I have been using jq for years and still can't get it to work quite how I would expect it to.
I have the same issue with jq. I need to use my google fu to figure out how to do anything more than a simple select.
I don't know what the term would be, mental model, but I just can't get jq to click. Mostly because i only need it every once in a while. It's frustrating for me because it seems quite powerful.
I know I might be a dissenting opinion here, but I can never wrap my head around
jq. I can managejq .,jq .fooandjq -r, but beyond that, the DSL is just opaque to me.Let's just say it: jq is an amazing tool, but the DSL is just bad.
Yeah, I find jq similar to writing regexes: I always have to look up the syntax, only get it working after some confusion why my patterns aren't matching, then forget it all in a few days so have to relearn it again later.
Одним словом, вы уже наверное догадались. Пришла идея, а почему бы не обратить мою JS библиотеку в исполняемый файл для командной строки. Читать полностью »
Анатомия запросов GraphQL
2017-08-07 в 8:56, admin, рубрики: api, graphql, Query, Разработка веб-сайтовДжентльменский набор терминов
Новый стандарт получения данных GraphQL стал популярен совсем недавно. Сейчас активно обсуждается развитие этой технологии, появляются все новые инструменты. Одно из достоинств GraphQL – он дает команде разработчиков универсальный язык для описания того, какие данные доступны в API. Но в каких терминах обсуждать сам язык запросов и технологию в целом?
Спецификация GraphQL содержит почти исчерпывающий набор терминов по всем аспектам GraphQL. Но спецификация довольно объемна. В этой статье мы на конкретных примерах узнаем наиболее важные понятия и термины, которых достаточно для обсуждения GraphQL на уровне специалиста.
Система управления складом с использованием CQRS и Event Sourcing. Проектирование
2017-07-19 в 9:21, admin, рубрики: CatalogInventory, command, cqrs, event sourcing, Eventual consistency, inventory, Magento, magento 2, MSI, php, Query, service layer, Проектирование и рефакторинг, Разработка под e-commerce, Совершенный код
Итак, после постановки требований описанной в части 1 можно перейти к проектированию системы.
Основная наша задача в проектировании, как это понятно из названия статьи, добиться разделения интерфейсов на Query и Command, чтобы впоследствии разделить бизнес сценарии на те, которые будут читать данные (Query интерфейсы) и на те, которые будут изменять данные (Command интерфейсы). А также обеспечить минимальное время ожидание (latency) на обновление данных, доступных через Query, после того как мы изменили данные через Command.
Читать полностью »
Использование статистики в PostgreSQL для оптимизации производительности — Алексей Ермаков
2017-05-29 в 9:25, admin, рубрики: postgresql, Query, query planning, sql, Блог компании PG Day'17 Russia, оптимизацияДрузья, мы продолжаем публиковать транскрипции наиболее интересных технических докладов прошлых конференций PG Day Russia. Сегодня вашему вниманию предлагается доклад Алексея Ермакова, специалиста компании Data Egret, посвященный устройству и функционированию планировщика.
Статистическая информация, собираемая PostgreSQL, имеет большое влияние на производительность системы. Зная статистику распределения данных, оптимизатор может корректно оценить число строк, необходимый размер памяти и выбрать наиболее быстрый план выполнения запроса. Но в некоторых редких случаях он может ошибаться, и тогда требуется вмешательство DBA.
Помимо информации о распределении данных, PostgreSQL также собирает статистику об обращении к таблицам и индексам, вызовов функций и даже вызовов отдельных запросов (при помощи расширения pg_stat_statements). Эта информация, в отличие от распределений, больше нужна администраторам, нежели для работы самой базы, и очень помогает для нахождения и исправления узких мест в системе.
В докладе будет показано, каким образом статистическая информация собирается, для чего она важна, и как ее правильно читать и использовать; какие параметры можно «подкрутить» в тех или иных случаях, как подобрать оптимальный индекс и как переписать запрос, чтобы исправить ошибки планировщика.
Читать полностью »
И снова о рекурсивных запросах
2017-01-09 в 11:58, admin, рубрики: postgres, postgresql, Query, recursive, sql, window functions, Блог компании Postgres ProfessionalВ этой заметке речь пойдет о том, как писать рекурсивные запросы. Тема эта поднималась не раз и не два, но обычно все ограничивается простыми «деревянными» случаями: спуститься от вершины до листьев, подняться от вершины до корня. Мы же займемся более сложным случаем произвольного графа.
Начнем с того, что повторим теорию (очень кратко, потому что с ней все ясно), а затем поговорим о том, что делать, если непонятно, как подступиться к реальной задаче, или вроде бы понятно, но запрос упорно не хочет работать.
Для упражнения будем использовать демо-базу, подробно описанную ранее, и попробуем написать в ней запрос для поиска кратчайшего пути из одного аэропорта в другой.
Игра Query по поисковым запросам Google Autocomplete
2015-01-15 в 17:47, admin, рубрики: Google, Google Autocomplete, Query, игры, краудфандинг, настольная игра«Если умный… то почему такой бедный?» «Почему люди… зевают?» «Когда Россия… продала Аляску?»
Функция автоматического дополнения поисковых запросов Google Autocomplete — настоящий справочник человеческого любопытства. Сразу можно увидеть, что волнует людей больше всего. На этом принципе построена настольная игра Query. Вы должны угадать, что именно занимает главное место в массовом сознании по определённому вопросу.
Например, начало вопроса «Где...». Попробуйте угадать, что чаще всего спрашивают у Google россияне?
Читать полностью »