В ответ на это решение, хотелось бы указать своё, несколько более простое к восприятию.
Читать полностью »
Рубрика «sql» - 64
Задача о восьми Ферзях на Oracle SQL (другое решение)
2014-07-02 в 8:09, admin, рубрики: oracle, oracle sql, sql, ненормальное программирование, метки: oracle sql, sqlHP Vertica, проектирование хранилища данных, больших данных
2014-06-23 в 14:44, admin, рубрики: big data, dwh, sql, Vertica, Администрирование баз данных, метки: dwh, VerticaО чем статья
Незаметно пролетел год, как начались работы по разработке и внедрению хранилища данных на платформе Вертика.
На хабре уже есть статьи про саму СУБД Вертика, особенно рекомендую эту: HP Vertica, первый запущенный проект в РФ, ведь ее автор очень помог нам на начальном этапе. Алексей, спасибо еще раз.
Хотелось бы рассказать о том, какая методология применялась для проектирования физической структуры хранилища, чтобы наиболее полно использовать возможности HP Vertica.
Эту статью хотел бы посветить обоснованию оптимальности выбранной методологии, а в следующей — рассказать о том, какие техники позволяют анализировать данные, содержащие десятки млрд. строк, не быстро, а очень быстро.
Постановка задачи
Рассмотрим высоконагруженный сайт крупной российской интернет-компании (входит в топ 10 сайтов рунета по количеству уникальных пользователей по данным LiveInternet и Google Analytics).
Деятельность компании описывается следующими цифрами: ~ 10 млн. активных пользователей, ~100 млн. просмотров страниц в день, около 1 тыс. новых объектов, размещенных пользователями на сайте в течение 1 минуты, ~10 тыс. поисковых запросов пользователей в минуту.
Грубая оценка количества действий, подлежащих сохранению в хранилище, составляет 100 млн. новых записей в сутки (~100 GB новых данных в сутки).
Т.е. при построении классического хранилища данных с отказом от стирания поступивших ранее данных, объем хранилища через 3 месяца эксплуатации составит 10TB сырых данных. Big Data как она есть.
Нужно построить хранилище, которое хранило бы не меньше 6 месяцев данных, позволяло их анализировать, визуализировать, и отставало бы от реальной жизни настолько мало, насколько это возможно (в худшем случае — отставало бы на день, в лучшем — на минуты).
Вынося сразу за скобки вопрос выбора платформы — хранилище должно работать на HP Vertica, MPP базе колоночного хранения, см. вводную статью в заголовке.
Читать полностью »
Вводная по сложным запросам в SQLAlchemy
2014-06-17 в 10:51, admin, рубрики: postgresql, python, sql, sqlalchemy, Блог компании EastBanc Technologies, метки: postgresql, python, sql, sqlalchemy 
Во время посещения PyConRu 2014 я, с удивлением, узнал, что достаточно большая аудитория python-разработчиков не использует SQLAlchemy в качестве основного инструмента для работы с базой данных. Порассуждав на данную тему после Light Talks с коллегами было принято решение — во чтобы то ни стало написать статью о том, что же можно делать со всей мощью SQLAlchemy.
Обычно в написании сайтов не требуется чего-нибудь этакого от штатного ORM. А если и требуется, то хватает замены на нештатный или прочтения основной части документации. И, как правило, голову ломать над сложными запросами не приходится. Достаточно много различных ORM предлагают классические схемы One-2-Many, One-2-One, Many-2-Many, и т.д. Для обычных запросов и связей этого вполне достаточно. К сожалению, в больших проектах не обходится без частных случаев и программисты при сложных запросах пишут либо raw sql, либо полагаются на то, что им предлагает базовый функционал ORM. Это выглядит не совсем красиво или создает достаточно большую нагрузку на базу данных.
Понятно, что в погоне за скоростью выполнения сценариев, можно пожертвовать красотой кода, но что если скоростью можно пренебречь, а вот кроссплатформенностью — нет? Да и не хочется в python коде видеть что-то кроме python кода. А что если хочется на полную катушку использовать любимый ORM (для меня SQLAlchemy) и не писать raw sql запросы?
Читать полностью »
Как SQL Server каждые два-три часа переключался на использование не оптимального плана выполнения запроса
2014-06-16 в 7:12, admin, рубрики: execution plan, sql, метки: execution planПоследние пару дней работал над интересной задачей и хотел бы поделиться интересным опытом с сообществом.
В чём проявляется проблема:
Запускаю хранимую процедуру (хранимку) по выборке данных для отчета — выполняется три секунды, смотрю профайлером на бою — у пользователей те же результаты. Но проходит три часа и та же хранимка, с теми же параметрами выполняется уже 2 минуты, и аналогично у пользователей. Причём данные в используемые таблицы не вставлялись/удалялись, окружение не меняли и админы не делали настроек.
Читать полностью »
Библиотеки, которые еще могут пригодиться
2014-06-15 в 20:28, admin, рубрики: Action Script, adobe air, dsl, Flash-платформа, flex, json, sql, XML, метки: adobe air, dsl, flex, json, sql, XMLНекоторе время назад я задумался о том, чтобы выложить часть своих библиотек в общий доступ. И вот наконец дошли руки все подравнять и выложить на GitHub:
- RObject — интроспеция с помощью describeTypeJSON
- JsonMapper — типизированный JSON парсер
- As3Query — DSL и ORM для Sqlite
- FlexXB Mobile — оптимизированный xml-парсер FlexXB
- air-hid-usb — расширение для работы с HID устройствами
0xDBE. Новая IDE для разработчиков и админов СУБД от JetBrains
2014-06-11 в 14:15, admin, рубрики: IDE, intellij, jetbrains, sql, Администрирование баз данных, Блог компании JetBrains, метки: IDE, intellij, jetbrains, sqlКак могут помнить те из вас, кто читает хаб «Программирование», зимой 2014 JetBrains объявила подписку на private preview C++ IDE. В результате немалое количество подписчиков ей уже пользуются, в начале осени мы планируем выпустить общедоступную early preview, а мы до сих пор получаем письма от друзей на тему «мы не успели подписаться, как вскочить в этот поезд сейчас?»
А сейчас есть отличная возможность вписаться в похожую историю без опозданий: JetBrains открывает подписку на early preview новой IDE для разработчиков, которые пишут на SQL. И для админов баз данных — им тоже бывает нужно что-то поудобнее, чем pgAdmin. Для админов новая IDE пригодится там, где им надо поработать с данными в таблицах. Назначать права, делать бэкапы и выполнять прочие чисто админские задачи IDE пока не умеет, хотя мы подумываем её этому научить.
Короче: тут — подписываться, а под катом — подробности.
Пример экономии на лицензии при внедрении сервера 1С предприятия
2014-05-30 в 12:17, admin, рубрики: 1С, 1с сервер, linux, postgresql, sql, лицензии, метки: 1с, 1с сервер, linux, postgresql, лицензии 
Добрый день, статья написана в качестве некоего продолжения данного опуса. Компания 1С довольно часто подвергается критике, нередко объективной, но я попытаюсь своим примером показать, что 1С предоставляет свободу выбора, что в нынешнее время как минимум заслуживает уважения. Также немного посчитаем деньги.
Читать полностью »
Что будет нового в Veeam Backup & Replication v8: Veeam Explorer for Active Directory и Veeam Explorer for Microsoft SQL Server
2014-05-26 в 7:51, admin, рубрики: active directory, exchange, sharepoint, sql, Veeam, виртуализация, Восстановление данных, метки: active directory, exchange, sharepoint, sql, Veeam, виртуализация, восстановление данныхВыход 8-й версии Veeam Backup & Replication не за горами. Ранее мы уже рассказали про поддержку аппаратных снапшотов NetApp, и теперь я хочу рассказать про расширение линейки инструментов гранулярного восстановления приложений Veeam Explorers. В дополнение к Veeam Explorer for Exchange и Veeam Explorer for SharePoint в новой версии появятся: Veeam Explorer for AD и Veeam Explorer for Microsoft SQL Server.
Информация о том, что именно они смогут делать — под катом.
Find invalid objects или готовим своими руками…
2014-05-11 в 16:35, admin, рубрики: MetaData, sql, sql server, tsql, Администрирование баз данных, метки: MetaData, sql, sql server, tsql 
В обязанности администратора баз данных входит много разных задач, которые, в основном, направлены на поддержку работоспособности и целостности базы данных. И если целостность данных можно проверить через команду CHECKDB, то с поиском невалидных объектов в схеме не все так гладко.
Если проводить аналогии с Oracle, то в SQL Server нельзя так же легко получить список невалидных объектов:
SELECT owner, object_type, object_name
FROM all_objects
WHERE status = 'INVALID'
В большинстве ситуаций, узнать о том, что скриптовый объект является невалидным, можно только при его выполнении. Конечно, такое положение дел, может не всех устроить, поэтому предлагаю написать скрипт по поиску невалидных объектов в базе данных.
Читать полностью »
Российский PgDay 2014 в Санкт-Петербурге
2014-04-16 в 9:07, admin, рубрики: postgresql, sql, Администрирование баз данных«Дорогие друзья и коллеги!
404 Group и PostgreSQL-Consulting.com рады сообщить о начале регистрации на первую в России независимую конференцию по PostgreSQL, лучшей в мире БД с открытым исходным кодом! Конференция пройдет 3 и 4 июля в одном из красивейших городов России — Санкт-Петербурге.
Читать полностью »