Всем привет!
Сегодня поговорим о техниках настройки резервного копирования файлов и MySQL/InnoDB/XtraDB в приложениях, развернутых в облаке, на примере Amazon Web Services.
В ходе разработки облачного сервиса Битрикс24 мы попробовали несколько схем резервного копирования, наткнулись на некоторые подводные камни архитектуры амазона и ограничения софта — однако все постепенно разложилось по полочкам и зажужжало :-)
Также внимательно рассмотрим вопрос инкрементального бэкапирования достаточно больших объемов данных (сотни гигабайт и больше), рейдов и конфигураций с InnoDB/XtraDB.
Но прежде всего в деталях разберемся в технологиях хранения данных, предлагаемых нам амазоном.
Читать полностью »
Рубрика «mysql» - 53
Эффективное резервное копирование в Amazon Web Services — рецепты
2012-05-15 в 6:38, admin, рубрики: mysql, Битрикс24, Блог компании 1С-Битрикс, веб-кластер, метки: mysql, Битрикс24, веб-кластерПишем свой API для сайта с использованием Apache, PHP и MySQL
2012-05-04 в 18:35, admin, рубрики: Apache, api, mysql, php, Веб-разработка, метки: apache, api, mysql, PHPС чего все началось
Разрабатывая проект, я столкнулся с необходимостью организации клиент-серверного взаимодействия приложений на платформах iOS и Android с моим сайтом на котором хранилась вся информация — собственно БД на mysql, картинки, файлы и другой контент.
Задачи которые нужно было решать — достаточно простые:
регистрация/авторизация пользователя;
отправка/получение неких данных (например список товаров).
И тут-то мне захотелось написать свой API для взаимодействия с серверной стороной — большей своей частью для практического интереса.
Входные данные
В своем распоряжении я имел:
Сервер — Apache, PHP 5.0, MySQL 5.0
Клиент — Android, iOS устройства, любой браузер
Я решил, что для запросов к серверу и ответов от него буду использовать JSON формат данных — за его простоту и нативную поддержку в PHP и Android. Здесь меня огорчила iOS — у нее нет нативной поддержки JSON (тут пришлось использовать стороннюю разработку).
Читать полностью »
Фреймворк Autodafe — работа с моделями
2012-05-03 в 20:17, admin, рубрики: activerecord, autodafe, javascript, logging, mvc, mysql, node.js, orm, routing, websockets, метки: activerecord, autodafe, javascript, logging, mvc, mysql, node.js, orm, routing, websocketsВышла версия 0.3 node.js фреймворка для разработки веб приложений Autodafe
У фреймворка появился сайт autodafe.ws, который стремительно обрастает документацией и статьями. (Документация на сайте генерируется автоматически из кода, задокументированного по правилам jsdoc. Поэтому если вы хотите быстро поднять сайт с документацией вашего проекта, можете спросить меня «как?»)
В новой версии фреймворка значительно улучшена работа с моделями, писать классы для сохранения данных стало удобнее, а сами они стали выглядеть красивее. Множественное задание атрибутов, их неявная фильтрация во время присвоения, асинхронная валидация моделей и изумительное использование статических методов моделей несомненно сделают вашу жизнь лучше и проще :) Работа с моделями в Autodafe
Эмулятор PEAR DB средствами PDO с некоторым расширением функционала или простая надстройка над PDO
2012-04-28 в 10:03, admin, рубрики: mysql, PDO, php, php5, метки: mysql, PDO, php5 Доброе время суток всем!
Как обещал ранее, а также по просьбе некоторых пользователей хабра выкладываю в сеть новый вариант эмулятора PEAR DB сделанный на основе PDO и успешно работающий с новыми версиями PHP. Скачать можно здесь (из раздела Code, ветка trunk) или здесь, а также используя snv
так: svn checkout svn://svn.code.sf.net/p/peardb2pdo/code/trunk peardb2pdo-code
или так: svn checkout svn.code.sf.net peardb2pdo-code peardb2pdo trunk
При желании код можно взять за основу при создании новых проектов где не хочется использовать тяжеловесные надстройки над базой.
Лицензия: GNU General Public License .
Далее подробнее ...Читать полностью »
g «Новости читать бесплатно»
2012-04-27 в 11:17, admin, рубрики: mysql, php, tdd, Новости, метки: mysql, PHP, tdd, новостиПрелюдия.
Однажды утром мне понадобилось узнать свежие новости о происходящем в одной маленькой и гордой стране. Казалось бы, что может быть проще? Зайдя на сайт корпорации Добра, я быстренько вбил название страны, добавил «news», нажал Enter, получил примерно 800 миллионов результатов и недоуменно почесал репу. Это действие вызвало в ней процессы, тихонько нашёптывающие на ухо: «покер, гейши, своё, написать...». К вечеру скромный сайт-сервис был готов и запущен, а о ключевых моментах того, как проходил процесс создания, придерживаясь принципов KISS, TDD и Rapid Development, я и хочу рассказать в этой публикации. Немного кода, немного текста — добро пожаловать под кат!Читать полностью »
The Twi Journal
2012-04-25 в 7:25, admin, рубрики: amazon s3, api, comet, Foursquare API, gearman, Instagram API, memcached, mongodb, mysql, php, twitter, twitter api, СМИ, социальные сети, Социальные сети и сообщества, метки: amazon s3, api, comet, Foursquare API, gearman, Instagram API, memcached, mongodb, mysql, PHP, twitter, twitter api, СМИ, социальные сетиДолгое время не решался писать на Хабр. Как минимум, из-за технической неустойчивости проекта. Теперь, когда работа налажена (искренне надеюсь на это), мы получили небольшое признание в виде гранта от Юрия Мильнера и Павла Дурова, я готов отправить проект в хабромясорубку.
Меня зовут Никита Лихачев, я хочу рассказать вам о сайте The Twi Journal. Это газета, которая строится на основе автоматического анализа русскоязычного Твиттера.
Аккуратно: большие картинки | На «Я пиарюсь» кармы не хватило
Полезные мелочи в работе веб-разработчика или «Как я мог без этого жить»
2012-04-24 в 11:42, admin, рубрики: mysql, ssh, Веб-разработка, консоль, Песочница, метки: mysql, ssh, консольЗлой троянец увел у меня аккаунт на хабр, после чего под моим аккаунтом начали публиковаться какие-то тупые мультики. К сожалению узнал я об этом только когда НЛО перевело меня в read-only. Не беда: повод наконец написать пост, который давно собирался.
Веб-разработчику консоль нужна, но не на столько что бы бросив все дела начинать читать толстенные книжки по линуксу. Именно поэтому я учился консольным хитростям от случая к случаю и, судя по моим сотрудникам, многие поступают точно так же. Раскрою пару удобных секретов, без которых я уже не могу жить.
Читать полностью »
Денормализация данных лучше, чем делать вычитание таблиц
2012-04-23 в 23:29, admin, рубрики: mysql, php, Администрирование баз данных, базы данных, метки: базы данных
Здравствуйте господа.
Этот пост адресован не столько к опытным разработчикам, сколько к молодым людям в этой области, которые постигают азы на университетской скамье. В университете учат, что данные должны быть нормализованы и теория должна быть вся выполнена, так как это снизит риск потенциальных ошибок и сделает данные более компактными. В реальной ситуации намного энергоэффективней производить разные оптимизации структуры БД, о чем и будет этот пост.
В данном посте будут только размышления на примере задачи, все структуры данных и алгоритмы будут написаны на псевдоязыке в качестве пищи для мозгов, но не более.
Читать полностью »
OPTIMIZE огромных таблиц в условиях ограниченных ресурсов или закат солнца вручную
2012-04-23 в 8:58, admin, рубрики: highload, mysql, Веб-разработка, метки: highload, mysqlПредыстория
Есть проект, в рамках которого приходится работать с большим объем данных. В частности есть одна денормализованная таблица, в которой хранятся все актуальные предложения существующих клиентов, а также устаревшие предложения, помеченные is_deleted = 1, ожидающие удаления.
Количество записей в данной таблице до недавнего времени колебалось от 30 до 50 миллионов. Обычный OPTIMIZE даже при таких условиях не всегда срабатывал. Поэтому отец-основатель (Евгений Васильевич aka haron) придумал пересобирать таблицу таким образом: все актуальные (is_deleted = 0) копировались в таблицу с идентичной структурой с добавлением префикса по дате и времени, а когда копирование завершалось, оставалось только удалить исходную таблицу, а новую переименовать в исходную.
Такой подход работал надежно, пока не потребовалось повысить скорость поиска предложений. И тут начинается наша небольшая история.Читать полностью »
10 лучших инструментов для разработки и администрирования MySQL
2012-04-19 в 10:42, admin, рубрики: GUI, mysql, sql, Администрирование баз данных, базы данных, Веб-разработка, метки: gui, mysql, sql, базы данныхМногие компании создают различные многофункциональные приложения для облегчения управления, разработки и администрирования баз данных.
Большинство реляционных баз данных, за исключением MS Access, состоят из двух отдельных компонентов: «back-end», где хранятся данные и «front-end» — пользовательский интерфейс для взаимодействия с данными. Этот тип конструкции достаточно умный, так как он распараллеливает двухуровневую модель программирования, которая отделяет слой данных от пользовательского интерфейса и позволяет сконцентрировать рынок ПО непосредственно на улучшении своих продуктов. Эта модель открывает двери для третьих сторон, которые создают свои приложения для взаимодействия с различными базами данных.
В Интернете каждый может найти много продуктов для разработки и администрирования баз данных MySQL. Мы решили собрать 10 самых популярных инструментов в одной статье, чтобы вы смогли сэкономить свое время. Читать полностью »