В этой статье я расскажу как использовать pinba совместно с clickhouse и grafana вместо pinba_engine и pinboard.
На php-проекте pinba — пожалуй единственный надёжный способ понять, что происходит с производительностью. Правда обычно pinba внедряется только тогда, когда уже наблюдаются проблемы и не понятно «где копать».
Часто никто понятия не имеет сколько раз в секунду/минуту вызывается тот или иной скрипт и начинают оптимизировать «на ощупь», начиная с тех мест, что кажутся логичнее.
Кто-то анализирует логи nginx, а кто-то медленные запросы в бд.
Конечно pinba не была бы лишней, но есть несколько причин, почему она есть далеко не на каждом проекте.
Читать полностью »
Рубрика «pinba»
Статистика и мониторинг PHP скриптов в реальном времени. ClickHouse и Grafana идут на помощь к Pinba
2019-04-28 в 22:15, admin, рубрики: board, engine, Go, golang, nginx, php, php7, pinba, pinba_engine, pinba_server, pinba2, pinbaserver, pinboard, высокая производительностьLiveprof покажет, когда и почему менялась производительность вашего PHP-приложения
2019-01-29 в 13:01, admin, рубрики: live profiler, optimisation, performance, php, pinba, xhprof, Блог компании Badoo, высокая производительность, Программирование, Разработка веб-сайтов
Привет! Меня зовут Тимур Шагиахметов, я PHP-разработчик в Badoo.
Производительность приложения — один из важнейших критериев качества работы программиста. В вопросах оптимизации PHP-приложений помощником является профайлер.
Недавно мы рассказывали о том, какими инструментами пользуемся для профилирования. Напомню: одним из инструментов для анализа производительности, когда непонятно, какие части кода повлияли больше всего на увеличение времени формирования ответа, является XHProf. Это расширение для PHP, которое позволяет профилировать код на боевом сервере и впоследствии улучшать его.
Но хотелось бы ещё иметь историю изменения производительности, чтобы можно было отследить, что и когда повлияло на её ухудшение, не так ли? Для этого около года назад мы разработали Liveprof — инструмент для автоматического профилирования всех запросов с интерфейсом для анализа изменения производительности приложения.
Наш инструмент позволяет анализировать изменение производительности любой части кода, находить места, в которых наиболее сильно она упала. При этом его не нужно специально включать и ждать, пока накопится статистика, — он всегда активен и собирает данные для определённой доли всех запросов.
В этой статье я расскажу о деталях реализации и особенностях использования этого инструмента.
Читать полностью »
Производительность PHP: планируем, профилируем, оптимизируем
2018-11-22 в 13:05, admin, рубрики: perf, performance, php, php-fpm, pinba, xhprof, Блог компании Badoo, высокая производительность, Программирование, Разработка веб-сайтов
Привет! Два года назад мы писали о том, как перешли на PHP 7.0 и сэкономили миллион долларов. На нашем профиле нагрузки новая версия оказалась в два раза более эффективной по использованию CPU: ту нагрузку, которую раньше у нас обслуживали ~600 серверов, после перехода начали обслуживать ~300. В результате на протяжении двух лет у нас был запас мощностей.
Но Badoo растёт. Количество активных пользователей постоянно увеличивается. Мы совершенствуемся и развиваем нашу функциональность, благодаря чему пользователи проводят в приложении всё больше времени. А это, в свою очередь, отражается на количестве запросов, которое за два года увеличилось в 2—2,5 раза.
Мы оказались в ситуации, когда двукратный выигрыш в производительности нивелировался более чем двукратным ростом запросов, и мы опять стали приближаться к пределам нашего кластера. В ядре PHP снова ожидаются полезные оптимизации (JIT, предзагрузка), но они запланированы только на PHP 7.4, а эта версия выйдет не раньше, чем через год. Поэтому трюк с переходом сейчас повторить не удастся — нужно оптимизировать сам код приложения.
Под катом я расскажу, как мы подходим к таким задачам, какими пользуемся инструментами, и приведу примеры оптимизаций, идей и подходов, которые мы применяем и которые помогли нам в своё время.
Читать полностью »
Использование Pinba в Badoo: то, чего вы еще не знаете
2017-06-30 в 8:21, admin, рубрики: php, pinba, Блог компании Badoo, высокая производительность, Программирование
Привет! Меня зовут Денис, я – PHP-разработчик в Badoo, и сейчас я расскажу, как мы сами используем Pinba. Предполагается, что вы уже знаете, что это за инструмент, и у вас есть опыт его эксплуатации. Если нет, то для ознакомления рекомендую статью моего коллеги, Максима Матюхина.
Вообще на Хабре есть достаточно материалов об использовании Pinba в различных компаниях, включая пост Олега Ефимова в нашем блоге. Но все они касаются других компаний, а не Badoo, что немного нелогично: сами придумали инструмент, выложили в open source и не делимся опытом. Да, мы часто упоминаем Pinba в различных публикациях и в докладах на IT-конференциях, но обычно это выглядит как-то так: «А вот эти замечательные графики мы получили по данным из Pinba» или «Для измерения мы использовали Pinba», и всё.
Общение с коллегами из других компаний показало две вещи: во-первых, достаточно много людей используют Pinba, а во-вторых, часть из них не знают или не используют все возможности этого инструмента, а некоторые не до конца понимают его предназначение. Поэтому я постараюсь рассказать о тех нюансах, которые явно не указаны в документации, о новых возможностях и наиболее интересных кейсах применения Pinba в Badoo. Поехали!
Мониторинг приложений с помощью Pinba
2017-01-20 в 10:36, admin, рубрики: monitoring, Monitoring Tools, performance, php, pinba, zero overhead, Блог компании Badoo, высокая производительность, Программирование
Привет! Мы в Badoo стараемся активно участвовать в жизни IT-сообщества: используем многие open-source-технологии и инструменты, а также делимся своими разработками.
Один из таких инструментов – Pinba – сервис для получения realtime-статистики от работающих приложений без накладных расходов на её сбор. Узнать побольше вы можете в этой статье.
Мы стараемся помочь всем, кто использует Pinba в своих проектах и всегда рады слышать success stories, связанные с Pinba. Этот перевод – одна из подобных историй от разработчиков Dailymotion.
Видео докладов с конференции DevConf 2014
2014-09-25 в 14:18, admin, рубрики: badoo, codeception, devconf, php, phpng, pinba, баду, Блог компании Badoo, Веб-разработка, Учебный процесс в IT, метки: badoo, devconf, PHP, бадуЭтим летом в Москве проходила конференция профессиональных веб-разработчиков DevConf 2014. Мы в Badoo поддерживали конференцию, выступали с докладами и сделали видео докладов, которые были интересны нашим разработчикам. Так как спикеры были «за», то мы делимся видео с нашими подписчиками.
1. «StatsCollector, или «Мама! Он и меня посчитал!»».
Старынин Валерий, PHP разработчик отдела BI, Badoo.
Доклад о том, как мы собираем статистику для каждого пользователя, обсчитываем каждое открытие страницы (и не только!), обрабатываем 120000 событий в секунду и планируем расширяться.
DevConf::PHP 2014 — уже на следующей неделе. PHPNG, Laravel, Yii, Асинхронный PHP — будь в курсе новинок разработки
2014-06-04 в 12:25, admin, рубрики: devconf, laravel, php, phpng, pinba, yii, Блог компании DevConf, Веб-разработка, метки: devconf, laravel, phpng, pinba, yii 
14 июня (суббота) 2014 — пройдет крупнейшая конференция по PHP, Python, Ruby, JavaScript, Android
62 доклада от авторов языков, баз данных и экспертов в WEB-разработке!
Впервые в России нам удалось собрать авторов MySQL, PostgreSQL, Percona Server, Sphinx, Tarantool в отдельном потоке DevConf::Storage — по сути это отдельная конференция по современным БД.
Поток PHP насыщен актуальными темами, который обязан знать каждый WEB-разработчик
- PHPNG — новый движок для старого php
- Laravel — Shawn McCool, Laravel core developer — самый «модный» фреймворк года!
- Yii 2.0, обзор — что творится в мире PHP: тренды, инструменты и фреймворки
- Архитектура AVITO.ru — самый крупная база объявлений, поглотившая конкурентов
- Codeception — тестируем с человеческим лицом
- Pinboard + pinba. Как организовать мониторинг сотни проектов
- PHPCI: Система непрерывной интеграции для PHP-проектов
- Асинхронный PHP — миф? Реальность!
- MySQL + HandlerSocket = NoSQL
PRFRL — как устроен интерфейс аналитики
2014-05-15 в 17:16, admin, рубрики: highload, newrelic, php, pinba, xdebug, Блог компании PRFLR, производительность, метки: highload, newrelic, pinba, xdebug, производительностьВ этом посте хотелось бы рассказать больше про концепцию панели аналитики. Собственно именно она дает разработчикам уникальные возможности для поиска проблемных по производительности мест в коде.
PRFLR — это система аналитики, направленная на скорейшее обнаружения проблемных по производительности мест в работе приложений. Realtime и непосредственно на Production серверах.
В первую очередь PRFLR ориентирован на высоконагруженные серверные приложения работающие на больших кластерах, однако применим для небольших проектов, десктоп и мобильных приложений. Конечно если вас действительно волнует вопрос их быстродействия.
Подходы к оптимизации (веб-)приложений
2014-01-04 в 17:30, admin, рубрики: mysql, optimization, performance, php, pinba, profiling, Веб-разработка, метки: mysql, optimization, performance, PHP, pinba, profiling prilojenii.jpg "Подходы к оптимизации (веб )приложений")
Не знаю, как вы, я лично обожаю заниматься оптимизацией производительности программ. Я люблю, когда программы не тормозят, а сайты открываются быстро. В этой статье я бы хотел привести некоторые (базовые) подходы к улучшению производительности. В основном, они относятся к веб-приложениям, но некоторые вещи справедливы и для «обычных» программ. Я затрону такие темы, как профилирование, пакетная обработка, асинхронная обработка запросов и др. Этот топик можно считать продолжением «Стратегии оптимизации веб-приложений с использованием MySQL.
Читать полностью »
Мониторинг статистики Django проектов с помощью Pinba на Debian GNU/Linux
2013-10-30 в 8:01, admin, рубрики: django, monitoring, pinba, метки: Django, monitoring, pinbaВ данном топике, будет рассказано о пошаговой настройке и конфигурации проекта и сервера с использованием связки pinba-engine + pinboard + django-pinba, для сбора и визулизации статистики проектов на django.
Все проекты являются бесплатными и их исходный код доступен на GitHub под лицензиями GPL или MIT.
Почему pinba?
В команде есть проекты, которые были написаны на php. Посещаемость у проектов достаточно высокая(свыше 200к). Есть очень много узких мест. Часто после каких-либо обновлений и новшеств, мы получали огромные тормоза, о которых мы узнавали не сразу. Нужно было решение, которое повернуто лицом к заказчику и программисту. Закачик очень не любит zabbix и munin. Решение нашлось. Это был pinboard и pinba. Заказчику понравилось. Он попросил прикрутить pinba на все проекты, которые крутились на django.
Читать полностью »