Инструменты с открытым исходным кодом для нагрузочного тестирования

Тестирование — неотъемлемая составляющая разработки программного обеспечения. Независимо от того, насколько хорошо вы пишете код или насколько тщательно продуманным может быть первоначальный процесс тестирования, всегда есть вероятность, что что-то может ускользнуть.

Вот почему нагрузочное тестирование так важно. Кроме коммерческих инструментов, также доступны варианты с открытым исходным кодом.

В этом руководстве рассмотрим:

• Важность нагрузочного тестирования;

• Лучшие бесплатные инструменты с открытым исходным кодом для нагрузочного и стресс-тестирования;

• Ключевые особенности каждого из инструментов.

Что такое нагрузочное тестирование?

Нагрузочное тестирование — это подсемейство тестирования производительности, которое включает одновременное взаимодействие с приложением большого количества пользователей. Это делается для того, чтобы узнать, может ли системная инфраструктура справиться с нагрузкой без ущерба для функциональности или с допустимым снижением производительности.

Нагрузочное тестирование используется, чтобы определить:

• Является ли время отклика, возвращаемое критическими действиями в приложении, приемлемым в соответствие со спецификацией, требованиями или KPI?

• Правильно ли ведет себя бизнес-функционал при большой нагрузке?

• Рассчитана ли инфраструктура на масштабирование в условиях стресс-теста?

Проведение тестирования производительности может оказать значительное влияние на степень удовлетворенности клиентов продуктом. Если производительность приложения не соответствует ожиданиям клиентов или соглашениям о гарантированном уровне обслуживания, клиенты, вполне возможно, перейдут к вашему конкуренту. И инструменты, используемые в процессе тестирования, играют здесь не последнюю роль.

Список лучших инструментов нагрузочного тестирования на 2022 год

1. JMeter 

JMeter — пожалуй, самый популярный open-source инструмент, помогающий измерять время загрузки.

Apache JMeter позиционирует себя как Java-приложение, разработанное специально для проведения нагрузочного тестирования с возможностью измерять производительность приложения и времени отклика.

JMeter был создан как open-source альтернатива LoadRunner и обладает множеством сложных функций. Это Java-приложение вида «толстый клиент», которое управляется в значительной степени кликами мышки — что бывает несколько необычно, но инструмент достаточно мощный. Кроме того, в JMeter доступны все функции, необходимые для проведения нагрузочного тестирования.

Преимущества

• Возможность проводить тестирование производительности для множества технологий с использованием ряда протоколов, таких как Java Objects, Web HTTP/HTTPS, SOAP и Rest Services, FTP, базы данных с JDBC.

• Хорошая IDE, которую можно использовать для записи, сборки и отладки тестов производительности.

• Начиная с JMeter 3.1, языком программирования по умолчанию является Groovy.

• Это один из самых популярных инструментов нагрузочного тестирования.

• Можно использовать для тестирования производительности мобильных приложений.

• Используя jmeter-java-dsl, можно писать тесты производительности на Java и пользоваться автодополнением IDE и встроенной документацией.

В настоящее время у него более 6k звезд на GitHub.

Минусы

Хотя JMeter является одним из наиболее популярных инструментов нагрузочного тестирования, у него есть и слабые места.

Например, JMeter может быть немного сложно масштабировать для большого распределенного теста, особенно если нужно настроить для взаимодействия друг с другом много машин. Также имеется ряд проблем с организацией больших тестов.

Вот где вам может помочь инструмент с открытым исходным кодом от BlazeMeter — Taurus.

2. Taurus 

Технически Taurus не относится к инструментам нагрузочного тестирования, он действует скорее как оболочка для других решений, которая скрывает сложность выполнения тестов производительности.

Сила Taurus заключается в том, что он позволяет писать тесты в YAML.

На самом деле вы можете описать полноценный сценарий примерно в десяти строках текста, что позволит коллегам описывать тесты в файле YAML или JSON. YAML — это человекочитабельный формат, который позволяет описать тест в простом текстовом файле.

Это большой шаг вперед по сравнению с тем, как раньше приходилось использовать множество специфичных инструментов для измерения времени загрузки.

Преимущества

• Вышеописанная особенность также должна позволить участвовать в тестах производительности большему количеству специалистов. Кроме того, поскольку тестовые примеры написаны на YAML, тесты становятся намного читабельнее, что упрощает проверку кода.

• Taurus гораздо эффективнее встраивает тестирование производительности в пайплайн CI/CD.

• Taurus предоставляет уровень абстракции поверх JMeter и некоторых других инструментов, таких как Locust, Gatling, Grinder и Selenium.

В настоящее время у него 1.7k звезд на GitHub.

3. Locust

Locust — это простой в использовании распределенный инструмент для нагрузочного тестирования, который помогает фиксировать время отклика. Итак, какие скриптовые языки он использует? Лучший — это Python. Он используется для тестирования производительности веб-сайтов и других приложений.

Locust vs. JMeter

Такие инструменты, как JMeter, основаны на архитектуре на основе потоков, которая потребляет много ресурсов. С другой стороны, Locust использует подход, основанный на событиях, который использует меньше ресурсов.

Рахул Соланки (Rahul Solanki), технический руководитель BlueConch Technologies, как-то в нашем разговоре упомянул, что он сравнивал Locust с JMeter и обнаружил, что Locust отнимает примерно на 70 процентов меньше ресурсов.

Если вы знакомы с термином «генераторы нагрузки», Locust использует термин «рой» — в том смысле как если бы вы насылали рой саранчи для того, чтобы нагрузить сайт (прим. переводчика: игра слов, в англ. “swarm of locusts”).

Для каждого из экземпляров Locust можно определить желаемое поведение. Это также дает возможность отслеживать процесс нагрузки в веб-интерфейсе в реальном времени.

Преимущества

• Возможность создавать тестовые сценарии с использованием Python

• Можно легко масштабировать количество пользователей, которых нужно эмулировать

• Приятный интерфейс

• Расширяемый

• Подходит для тестирования API

Минусы

Поскольку это относительно новый инструмент, у него гораздо меньше плагинов, чем у JMeter.

В настоящее время у него 15.7k звезд на GitHub.

4. Fiddler с BlackWidow и Watcher 

В списке инструментов повышения производительности веб-сайта это может показаться странной комбинацией.

Но эксперт по производительности Тодд ДеКапуа (Todd DeCapua) на предыдущей конференции PerfGuild рекомендовал использовать Fiddler с Watcher и BlackWidow для создания решения быстрого запуска автоматизированного тестирования производительности.

Fiddler предоставляет множество возможностей, но, вероятно, лучше всего его следует описать как средство захвата сетевых пакетов.

Хотя Fiddler нельзя отнести к решениям для нагрузочного тестирования, с его помощью можно отлаживать проблемы с веб-сайтом, а с помощью одного из его многочисленных расширений можно сделать еще больше.

Преимущества

• Устранение неполадок с веб-приложением

• Тестирование безопасности

• Оценка производительности

• Отладка веб-трафика с большинства компьютеров и устройств

• Множество функций интеграции

• Удобен для поиска узких мест производительности

• Fiddler уже является довольно популярным инструментом среди разработчиков. Многие используют его для отладки, чтобы просмотреть HTTP-запросы, которые их компьютер отправляет сервису или веб-сайту.

Watcher — это надстройка безопасности для Fiddler, которая позволяет быстро получить результаты тестирования на уязвимости в безопасности. BlackWidow — это веб-краулер, который дает возможность направить его на веб-адрес, а затем детализировать результаты.

Эти три инструмента, работая вместе, могут помочь получить новый взгляд на приложение, а также дать результаты, которые иначе невозможно было бы получить быстро.

Тодд продемонстрировал этот подход на прошлой онлайн-конференции PerfGuild.

5. nGrinder 

На странице nGrinder на GitHub написано, что он был разработан как решение для повышения производительности на уровне предприятия. Он был разработан, чтобы упростить процесс стресс-тестирования и предоставить тестировщикам платформу, позволяющую создавать, выполнять и отслеживать тесты.

Преимущества

• Можно писать свои тесты, используя Jython или Groovy, чтобы создать тестовые сценарии и создать нагрузку на JVM с помощью нескольких агентов.

• Он может расширять тесты с помощью клиентских библиотек, таких как jar и py.

• Позволяет отслеживать состояние генерации нагрузки агентов производительности.

• Заботится об автоматическом сборе результатов тестов с распределенных агентов после тестов

В настоящее время у него 1.3k звезд на GitHub.

6. The Grinder

The Grinder — это фреймворк на основе Java. Он предоставляет простые в создании и использовании распределенные решения для тестирования, использующие множество машин-генераторов нагрузки для регистрации времени отклика конечных пользователей, что позволяет не беспокоиться о каких-либо ограничениях виртуальных пользователей.

Преимущества

• Можно выполнять нагрузочное тестирование в любой системе с Java API

• Хорошая консоль с графическим интерфейсом

• Автоматически обрабатывает управление клиентскими подключениями и файлами cookie

7. Gatling

Gatling — это инструмент для стресс-тестирования, разработанный на Scala, Akka и Netty.

Этот современный подход к архитектуре позволяет тестировать и измерять комплексную эффективность приложения и легко масштабировать сквозную производительность виртуальных пользователей, а также с легкостью масштабировать виртуальных пользователей.

Преимущества:

• У него простой, но мощный DSL

• Его легко расширить

• Если вы знакомы со Scala, то это лучший инструмент для нагрузочного тестирования.

• Есть инструмент для записи сценариев.

• Позволяет использовать стратегию shift left в тестировании производительности.

В настоящее время у него 5.1k звезд на GitHub.

Чтобы узнать больше о Gatling, ознакомьтесь с докладом основателя Gatling Стефана Ланделла (Stephane Landelle) PerfGuildsession.

8. k6

k6 — это open-source инструмент нагрузочного тестирования для проверки производительности серверной инфраструктуры.

k6 подходит для использования, когда нужно начать включать тестирование производительности в пайплайны непрерывной интеграции.

k6 создан с использованием Go и JavaScript и хорошо интегрируется в рабочий процесс.

Преимущества

• Простой и понятный api для сценариев

• Обеспечивает распределенное и облачное исполнение

• Отличная возможность оркестрации REST API

В настоящее время у него 11.7k звезд на GitHub.

9. Tsung

Tsung — это многопротокольный инструмент распределенного нагрузочного тестирования с открытым исходным кодом.

Преимущества:

• Может контролировать CPU, память и сетевой трафик клиента

• Имеет HTTP-рекордер

• Включает HTML-отчеты и графики

• Имеет поддержку таких протоколов, как HTTP, XMPP, LDAP и т. д.

В настоящее время у него 2.1k звезд на GitHub.

10. Siege 

Siege — это утилита командной строки для нагрузочного тестирования и измерения скорости работы для http. Он был разработан, чтобы помочь разработчикам измерять производительность работы своего кода.

Преимущества

• Поддерживает базовую аутентификацию, файлы cookie, протоколы HTTP, HTTPS и FTP.

• Позволяет пользователям подключаться к серверу с настраиваемым количеством имитируемых клиентов. Эти клиенты ставят сервер «в осаду» (прим переводчика: игра слов от англ. “under siege”).

• Отлично подходит в качестве простого инструмента «грубой силы» для тестирования производительности.

В настоящее время у него 4k звезд на GitHub.

11. Bees with Machine Guns 

Созданный командой разработчиков чикагского медиа Chicago Tribune, это, вероятно, один из самых крутых инструментов тестирования производительности в этом списке.

Bees with Machine Guns описывает себя как утилиту для вооружения (создания) множества пчел (микроэкземпляров Amazon EC2) для атаки (нагрузочного теста) целей (веб-приложений).

Этот инструмент нагрузочного или объемного тестирования может помочь быстро протестировать сайт под нагрузкой, чтобы проверить его способность справляться с высоким трафиком.

В настоящее время у него 6k звезд на GitHub.

LoadRunner, как правило, является одним из наиболее распространенных инструментов нагрузочного тестирования, но многие из этих open-source инструментов могут предоставить большую часть необходимой функциональности. Кроме того, большинство протоколов этих инструментов можно использовать для тестирования производительности как веб-приложений, так и веб-сервисов.

12. Fortio

Fortio — классная библиотека для нагрузочного тестирования, инструмент командной строки, продвинутый эхо-сервер и веб-интерфейс на go (golang).

Этот инструмент позволяет указать заданную загрузку в запросах в секунду и записывать гистограммы задержки и другую полезную статистику.

Плюсы

• Быстрый

• Небольшой размер (Docker-образ 3 МБ, минимум зависимостей)

• Многократно используемый

• Встраиваемая библиотека go

• Может записывать гистограммы задержки и другую ценную статистику.

В настоящее время у него 1.8k звезд на GitHub.

13. puppeteer-webperf

В большинстве современных приложений, использующих тяжеловесные интерфейсы на JavaScript, потребность в измерении производительности на стороне клиента как никогда высока.

Не игнорируйте производительность интерфейса.

Можно использовать Puppeteer WebPerf для сбора статистики веб-производительности, такой как трассировка загрузки страницы, получение трассировки инструментов разработчика со снимками экрана, получение показателей производительности во время выполнения и многое другое.

Чтобы узнать об этом больше, ознакомьтесь с моим полным руководством по тестированию производительности фронтенда.

В настоящее время у Puppeteer WebPerf 1.4k звезд на GitHub.

14. Flood Element

Хотите проверить реальную загрузку браузера?

The Flood создал это open-source решение, чтобы дать возможность имитировать поведение пользователей с помощью нагрузочного тестирования с настоящим браузером. 

Element — это Playwright с открытым исходным кодом, который использует инструмент нагрузочного тестирования на основе браузера.

Тестовые сценарии создаются с помощью Typescript.

Плюсы

• Можно использовать его для проверки  веб-приложения с включением таких же действий, какие совершают пользователи, когда открывают браузер и взаимодействуют с элементами страниц.

• Такой подход может помочь найти проблемы с производительностью, с которыми сталкиваются пользователи.

• Он написан как сценарий для функционального тестирования, но с помощью Flood можно быстро запускать сценарии нагрузочного тестирования на любом количестве узлов в облаке.

• Это один из немногих open-source инструментов, который позволяет проводить тестирование производительности с использованием реальных браузеров, чтобы более точно имитировать взаимодействие реальных пользователей с приложением.

Читайте об этом в моей статье «Тестирование производительности на уровне браузера с использованием Element».

В настоящее время у него 204 звезды на GitHub.

15. Artillery.io

Artillery.io — это open-source приложение для создания нагрузочных тестов, премиум-версия которого предлагает возможность имитации нагрузки от тысяч пользователей.

• задержка

• запросы в секунду

• параллелизм

• фиксация среднего времени отклика

• и пропускная способность.

Преимущества:

• Позволяет создавать пиковые нагрузки для бэкенда для проверки стабильности и надежности.

• Имеет возможность добавлять собственную логику, публиковать и предварительно тестировать сценарии с использованием JavaScript, который может добавить в свою очередь широкий спектр модулей NPM.

• Поддерживает несколько протоколов, включая HTTP, Web Socket, Socket.IO, Kinesis и HLS.

---

Всех желающих приглашаем на открытое занятие «Стенды для нагрузочного тестирования». На этом вебинаре обсудим, какие стенды можно использовать для нагрузочного тестирования и их особенности. Регистрация открыта по ссылке.