Недавно я потратил кучу времени, пытаясь понять, почему один запрос выдает такой странный результат. На MariaDB он выдавал явно некорректный результат, а на старом добром MySQL не выполнялся вовсе. Т.е. запрос запускался, но дождаться его завершения не удавалось. Для того чтобы разобраться, в чем же дело, пришлось провести небольшое исследование. Но давайте обо всем по порядку.
Читать полностью »
Метка «mysql» - 7
Неожиданные результаты простого MySQL-запроса
2013-05-28 в 7:32, admin, рубрики: doctrine, mariadb, mysql, Администрирование баз данных, системное администрирование, метки: doctrine, mariadb, mysqlОпределение расстояния между географическими точками в MySQL
2013-05-09 в 6:10, admin, рубрики: mysql, Алгоритмы, геолокация, хранимые процедуры, метки: mysql, геолокация, хранимые процедурыПри разработке современного сайта часто возникает необходимость реализовать функционал вывода близлежащих географических точек. Самым оптимальным способом решения этой задачи является перекладывание работы по реализации определения точек на плечи MySQL. Если конкретней, то нам будут нужны возможности пространственных расширений MySQL (до версии 5.0.16 эти расширения были доступны только для MyISAM, более поздние версии MySQL поддерживают работу пространственных расширений с InnoDB, NDB, BDB и ARCHIVE).
Расстояние между точками будет вычисляться по формуле Хаверсина. Формула позволяет получать расстояние между точками с очень низкой погрешностью (величина погрешности прямо пропорциональна расстоянию между точками, и не превышает 10-20 километров при вычислении очень больших расстояний, например между штаб-квартирой Google в Калифорнии (37.422045, -122.084347) и оперным театром в Сиднее, Австралия (-33.856553, 151.214696)).
Обзор средств синхронизации баз данных MySQL
2013-05-06 в 8:17, admin, рубрики: continuous integration, mysql, Веб-разработка, Песочница, метки: continuous integration, mysql 
При разработке современных веб-приложений сложно недооценить пользу от использования систем контроля версий. Применительно к файлам разрабатываемого продукта, мы способны отследить любые этапы производства в любой момент, начиная с первой ревизии. Инструменты, помогающие нам в этом, на сегодняшний день популяризированы, считаются хорошим тоном при разработке, а во многих случаях успешное производство без их применения невозможно в принципе. А какие возможности мы имеем, когда возникает необходимость проследить изменения не в файлах, а в базах данных проекта? Под катом я поделюсь информацией о существующих средствах, с которыми мне пришлось ознакомиться.
Читать полностью »
Конкатенация SQL INSERT запросов
2013-05-01 в 23:06, admin, рубрики: mysql, php, sql, Песочница, метки: mysql, PHP, sqlЗдравствуйте жители Хабрахабра.
Возможно эта идея не нова (скорее всего так и есть) и я очередной велосипедист, но все же я хотел бы показать вам то что пришло мне в голову. Надеюсь этот метод кому-нибудь поможет, так же ожидаю советов от разработчиков, кто сталкивался с этим или каких-либо других вариантов. Поехали?
Бесперебойность (HA) для сервисов OpenStack MySQL + rabbitMQ
2013-04-30 в 19:22, admin, рубрики: mysql, open source, Percona, RabbitMQ, Блог компании Mirantis/OpenStack, метки: mysql, Percona, RabbitMQ, мирантис Автор: Piotr Siwczak
Последняя статья Олега Гельбуха дала обзор различных аспектов бесперебойности в OpenStack. Все компоненты OpenStack разработаны с учетом бесперебойности, но платформа использует и внешние ресурсы, как, например, базу данных и систему обмена сообщениями. И это забота пользователя — развернуть эти внешние ресурсы для безотказной работы.
Очень важно помнить, что все ресурсы с фиксацией состояния в OpenStack используют систему обмена сообщениями и базу данных, а все остальные компоненты не хранят информацию о состоянии (за исключением Glance). База данных и система обмена сообщениями являются ключевыми для платформы OpenStack. В то время как система управления очередью позволяет нескольким компонентам обмениваться сообщениями, база данных хранит состояние кластера. Обе эти системы принимают участие в каждом запросе пользователя, как при отображении списка виртуальных объектов, так и при создании новой виртуальной машины.
По умолчанию для обмена сообщениями используется RabbitMQ, а база данных по умолчанию — MySQL. В отрасли известны надежные решения и по нашему опыту их достаточно для масштабирования даже в крупных установках. В теории подойдет любая база данных, поддерживающая SQLAlchemy, но большинство пользователей пользуются базой данных по умолчанию. Для обмена сообщениями трудно найти альтернативу RabbitMQ, хотя некоторые пользуются драйвером ZeroMQ для OpenStack.
Как в OpenStack работают сообщения и база данных
Давайте для начала рассмотрим, как база данных и система обмена сообщениями вместе работают в OpenStack. Для начала я опишу поток данных при наиболее популярном запросе пользователя: создание экземпляра виртуальной машины.
Пользователь отправляет свой запрос в OpenStack, взаимодействуя с компонентом nova-api. Nova-api обрабатывает запрос на создание экземпляра, вызывая функцию create_instance из API-интерфейса nova-compute. Функция делает следующее:Читать полностью »
Мониторинг mod_security и MySQL с помощью Splunk
2013-04-27 в 11:11, admin, рубрики: CentOS, mysql, администрирование, безопасность веб-приложений, север, Серверное администрирование, хостинг, метки: CentOS, monitoring, mysql, администрирование, безопасность веб-приложений, север, хостинг Доброе время суток, хаброжители.
Хочу поделиться реализацией мониторинга виртуального сервера, который я поддерживаю.
Операционная система: CentOS 6.3 x64, однако описываемая ситуация подойдет и для других платформ, как *Win так и *nix.
Постановка задачи.
На сервере установлены сервисы: apache2, MySQL, postfix и реализована защита apache на базе mod_security.
Хозяина сервера не устраивает подключение по ssh консолью и чтение логов в текстовом редакторе, кроме того не было наглядности нагрузок на сервер, количества запросов, сложности запросов к серверу. Я предложил Zabbix сервер, но клиент сказал категорический «нет». Ну что-ж, на то он и клиент, чтобы быть всегда правым.
Необходимо максимально быстро отыскивать сложившуюся ситуацию, связанную с безопасностью сервера, и исходя из события принимать меры к устранению проблемы.
Сразу приведу скриншот того, что получилось:
Из Excel в MySQL. Небольшая функция на PHP
2013-04-26 в 9:54, admin, рубрики: Excel, mysql, php, Песочница, метки: Excel, mysql, PHPВведение
Здравствуй, $habrauser!
Бывает так, что вам нужно импортировать файл Excel в базу MySQL, но готового решения нигде нет. Вот и я, когда меня попросил друг поискать легкий способ импорта, сперва решил загуглить поискать решение. Увы запрос php excel to mysql не дал ничего конкретного, или же был довольно таки не удобен. Тогда же я решил найти библиотеку для работы с Excel на PHP, мне попалась PHPExcel. Но опять же меня ждало разочарование, запрос phpexcel to mysql не дал ничего путного (я ленивый пользователь и дальше 1й страницы не хожу). В итоге я решил создать свой велосипед скрипт, которым и хочу поделиться с вами.
Читать полностью »
Работа с датами Doctrine 2. Навигация в Symfony 2. И, надеюсь, прочие полезности
2013-04-19 в 3:39, admin, рубрики: doctrine, Doctrine ORM, mysql, php, symfony, навигация, работа с датами, хлебные крошки, метки: doctrine, mysql, PHP, symfony, навигация, работа с датами, хлебные крошкиПриветствую всех! А давайте сделаем топик-шпаргалку по Symfony и Doctrine.
Введение
Я обычный сибирский разработчик, основная задача в жизни захватить мир и сделать людей счастливее. На Symfony сделал несколько проектов. При разработке иногда встречаются задачи, на которые совсем нет информации в интернете, либо очень мало и не совсем понятная. Поэтому и захотелось создать данное обсуждение, где я покажу как решал некоторые свои задачи, а вы, надеюсь, направите меня на путь истинный или присоединитесь и тоже поделитесь своими хаками. Данный топик предназначен для тех людей, которые используют выше упомянутый фреймворк ну или его компоненты. А так же для тех, кто хочет пообщаться по поводу решения тех или иных проблем, поделиться своим опытом с другими разработчиками.
Ближе к делу
Функции работы с датами и Doctrine
Представим себе небольшой личный блог. Нужно вывести навигацию для постов с группировкой по году и месяцу. Очень простая задача. Вы создаете метод в классе BlogRepository, и Читать полностью »
Экстренное восстановление данных в таблице mysql с минимальной потерей времени
2013-04-18 в 5:31, admin, рубрики: dump, mysql, бд, Веб-разработка, восстановление, метки: dump, mysql, бд, восстановление Доброго времени суток хабрачитатели. Совсем не давно на работе произошел инцидент который подпортил нервы и привел к длительным рассуждениям. Суть: при обновлении записи в БД mysql забыл прописать условие where и в результате изменились все записи в таблице.
Читать полностью »
Время ответа сервера — одна секунда
2013-04-14 в 15:45, admin, рубрики: mysql, php, Веб-разработка, высокая производительность, скорость работы, метки: mysql, PHP, скорость работыВ данном небольшом посте я бы хотел поделиться своими мыслями насчёт скорости работы скриптов/программ, которые мы с вами пишем каждый день и обратить внимание на то, сколько «невидимой» работы совершается при выполнении привычных действий.
Выполнение SQL-запросов
Все знают, что работа с SQL обычно является одной из самых медленных компонентов любого сайта. Есть ли какие-то объективные причины для этого? Действительно ли базы данных такие медленные и срочно нужно переходить на NoSQL :)? Давайте посмотрим.
Создадим тестовую табличку в MySQL и наполним её 1 млн записей:
Код на PHP!
<?php
mysql_connect(...) or die("Cannot connectn");
mysql_select_db(...) or die("Cannot select DBn");
mysql_query('CREATE TABLE IF NOT EXISTS `one_million` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`one` int(11) NOT NULL,
`two` int(11) NOT NULL,
`three` int(11) NOT NULL,
`four` int(11) NOT NULL,
`five` int(11) NOT NULL,
`six` int(11) NOT NULL,
`seven` int(11) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB') or die("Cannot create tablen");
for ($i = 0; $i < 1000000; $i++) {
if ($i % 1000 === 999) echo "Done $in";
mysql_query('INSERT INTO one_million VALUES(NULL, ' . rand() . ', ' . rand() . ', ' . rand() . ', ' . rand() . ', ' . rand() . ', ' . rand() . ', ' . rand() . ')');
}
// Да, код не использует batch insert, а также использует устаревшее, но до сих пор работающее расширение mysql
Давайте теперь выполним какой-нибудь простенький запрос, который прочитает нам 1 млн записей:
SELECT COUNT(*) FROM one_million WHERE three = 333На моем компьютере запрос выполнился за 200 мс! Таким образом, можно заключить, что InnoDB в состоянии просмотреть около 5 млн записей за 1 секунду! Давайте подумаем, где же на веб-сайтах может потребоваться просматривать столько записей на одну страницу :)? На моей прошлой работе я принудительно выставил ограничение в 20 000 просмотренных строк на все SQL-запросы, и после вычищения всех «тормозных» мест время открытия страницы упало в 5 раз!
Читать полностью »