Итак, дорогиее, хочу представить на ваше обозрение инструкцию, как нам пришлось поднимать OLAP-сервер в нашей компании. Шаг за шагом мы пройдем по пути, который был нами проделан, начиная с установки и настройки Pentaho и заканчивая подготовкой таблиц данных и публикацией olap-куба на сервере. Естественно, многое здесь может быть сумбурным/неточным/неоптимальным, но когда нам понадобилось поднять сервер и посмотреть, сможет ли Pentaho заменить нашу самописную статистику, у нас не было и такого…
Читать полностью »
Рубрика «sql» - 71
Запуск OLAP-сервера на базе Pentaho по шагам
2013-07-25 в 6:26, admin, рубрики: olap, sql, метки: olap, sqlПишем свой Orm под Android с канастой и сеньоритами, Часть 2-ая
2013-07-23 в 8:57, admin, рубрики: android, java orm, orm, sql, ucaorm, Разработка под android, собственный проект, метки: android, java orm, orm, ucaorm, собственный опыт., собственный проектВступление
Некоторый интерес сообщества к моей первой статье, заставил меня усиленно поработать над orm. Мне еще не все в нем нравиться (где-то код не оптимизирован; где-то реализация не такая, как я хотел; не хватает проверок и возможно стабильности), но он выполняет все необходимые в текущей момент мне функции. И так, встречайте: UcaOrm!
Оптимизация sum в PostgreSQL
2013-07-16 в 17:37, admin, рубрики: aggregate, optimization, postgresql, sql, реляционные базы данных, метки: aggregate, optimization, postgresql, sql, реляционные базы данныхРассмотрим ситуацию: имеется статистическая таблица с колонками-идентификаторами и колонками-счётчиками. Требуется просуммировать счётчики по некоторому подмножеству. При этом нас не интересует, каким образом мы выбираем интересующее нас множество — про индексы и партицирование написано множество книг и статей. Будем считать, что все данные уже выбраны самым оптимальным способом и изучим, как быстрее суммировать.
Это не первое место, которое надо оптимизировать, если запрос тормозит, скорее последнее. Изложенные ниже идеи осмысленно применять когда план выполнения (explain) уже с виду идеальный и комар в нём носа не подточит, но хочется «выжать» ещё немного.
Читать полностью »
Несколько простых запросов вместо одного большого для загрузки связей в ORM
2013-07-09 в 22:18, admin, рубрики: orm, php, sql, метки: orm, PHP, sql Сразу оговорюсь, это не обучающий пост и не провозглашение новой парадигмы )), скорее решение, к которому я пришел, и хочется его обсудить в широкой и честной дискуссии.
Теперь к сути, представьте, что есть некая ORM, написанная на PHP, в которой описана модель Posts, имеющая связи многие-ко-многим через промежуточные таблицы с другими моделями: Comments, Tags, Categories. Вопрос в том, каким способом лучше поднимать связанные данные, всё сразу или с отложенной загрузкой?
Читать полностью »
Пишем свой Orm под Android с канастой и сеньоритами
2013-07-09 в 13:25, admin, рубрики: android, greendao, java orm, orm, ORMLite, sql, Разработка под android, собственный проект, метки: android, greendao, java orm, orm, ORMLite, собственный опыт., собственный проектВступление
Идея написать свое приложение под Android пришла мне на пятый день отдыха в солнечном Таиланде. Не буду вдаваться в подробности что именно натолкнуло меня на неё, как и что я задумал за приложение (просто статья не об этом). Однако идея крепко укоренилась и на шестой день пребывания, воспользовавшись бесплатным интернетом в отеле, на ноутбук, взятый только ради просмотра фильмов и скидывания фотографий с фотоаппарата, я закачал MySql.
Начал я, как вы наверное уже догадались, с реляционный модели.
Работа шла трудно, но через пару месяцев с моделью я закончил и окунулся в дебри разработки под Android. До этого, под мобильные платформы я писал только на .Net Compact Framework, но так как с Java был знаком не понаслышке, накидать простенькую форму с кнопками труда не составило. Объектная модель, ожидаемо, трудностей не вызвала вообще и я, радостно предвкушая как сейчас мои тестовые данные улетят куда-то в недра устройства, открыл раздел Data Storage на сайте Android Developers. Раздел Using Databases нельзя назвать исчерпывающим, однако все необходимы ссылки на API он содержит, и я принялся писать своего наследника от SQLiteOpenHelper. После пары удачных проб, разбалованный Entity Framework’ом, я понял, что и тут бы было неплохо использовать какой-нибудь orm, так как сущностей у меня набралось больше десятка. Вбив в Великом и Ужасном «android orm», первую же ссылку я получил на эту статью, и несколько полезных на StackOverflow. Набрав в общей сложности три orm’а, я приступил к экспериментам.
Читать полностью »
Устали от однообразных браузерных игр, которые представляют собой лишь разные интерфейсы к базам данных? Встречайте mySQLgame — игру, которая представляет собой только базу данных.
Ощутите переполняющее чувство радости того, что вы вставляете свою собственную строку в таблицу «rows»!
При разумном выборе SQL-запросов вы вскоре получите трех- или даже четырехзначное число в одном из полей своей строки! На этот случай знайте: в игре идет самая настоящая война. В новых запросах вы сможете использовать эти числа для вычитания из строк других игроков — при этом номера в вашей собственной строке станут еще выше!
Читать полностью »
СУБД Caché. Деревообработка — SQL доступ к многомерным структурам данных
2013-06-27 в 6:32, admin, рубрики: intersystems cache, nosql, sql, sqlmap, Блог компании InterSystems, ооп, метки: InterSystems cache, nosql, sqlmap, ооп 
«Caché предоставляет программистам свободу в выборе способа хранения и доступа к данным через объекты, SQL, либо путем прямого доступа к многомерным структурам данных. Независимо от способа доступа, все данные в базах данных Caché хранятся в многомерных массивах.»
Технологический справочник Caché
«Глобалы (глобальные хранимые переменные) – абстракция B-tree структур, используемых в MUMPS для хранения больших объемов данных.»
A Universal NoSQL Engine, Using a Tried and Tested Technology
В статье — пара примеров создания SQL проекций на различные структуры глобалов.
Читать полностью »
Автодополнение SQL кода прямо в редакторе PHPStorm
2013-06-22 в 8:31, admin, рубрики: jdbc, php, phpstorm, sql, автодополнение, Веб-разработка, метки: jdbc, PHP, phpstorm, sql, автодополнениеВ PHPStorm есть встроенная возможность подключения автодополнения имен таблиц и полей в редакторе кода, однако не все об этом знают.
Если у вас код отображается примерно так, то прошу под кат.
Читать полностью »
Индексация неатомарных атрибутов
2013-06-14 в 4:56, admin, рубрики: cache, dbms cache, intersystems cache, nosql, OODB, sql, Блог компании InterSystems, высокая производительность, ооп, оптимизация запросов, субд Caché, метки: cache, dbms cache, InterSystems cache, nosql, OODB, sql, высокая производительность, ооп, оптимизация запросов, субд CachéЦитаты из википедии (1NF):
Каждое пересечение строки и столбца содержит ровно одно значение из соответствующего домена (и больше ничего).
Одно и то же значение может быть атомарным или неатомарным в зависимости от смысла этого значения. Например, значение «4286» является
- атомарным, если его смысл — «пин-код кредитной карты» (при разбиении на части или переупорядочивании смысл теряется)
- неатомарным, если его смысл — «набор цифр» (при разбиении на части или переупорядочивании смысл не теряется)
В данной статье будут рассмотрены стандартные способы ускорения SQL-запросов по таким полям, как строка, дата, простой список (в формате $LB), коллекции-cписки и коллекции-массивы.
Оглавление:
Великое экранирование (или что нужно знать для работы с текстом в тексте)
2013-06-06 в 18:46, admin, рубрики: html, php, sql, XML, xss, атака, все равно никто не читает метки, Программирование, экранированиеSQL инъекции, подделка межсайтовых запросов, поврежденный XML… Страшные, страшные вещи, от которых мы все бы хотели защититься, да вот только знать бы почему это все происходит. Эта статья объясняет фундаментальное понятие, стоящее за всем этим: строки и обработка строк внутри строк. Читать полностью »