Пару дней назад была статья об исследовательском тестировании, и я хотел бы продолжить тему описанием одного из инструментов, поддерживающих процесс такого тестирования.
Что, собственно, мы ожидаем от такого инструмента, если в исследовательском тестировании у нас нет ни сценария, ни плана, ни четких критериев оценки правильности поведения системы?
Требования к инструменту
На мой взгляд, такой инструмент должен:
- Быть интегрирован с системой баг-трекинга, чтобы можно было заводить дефекты по мере их обнаружения
- Автоматически документировать обнаруженный дефект. Это важно, когда тест идёт не по сценарию, а в произвольной последовательности, которую невозможно держать в голове
- Обеспечивать возможность повторения последовательности исследовательского теста
- Быть интегрирован с системой управления требованиями — чтобы по возможности привязывать обнаруженные дефекты к требованиям
- Быть интегрирован с системой управления тестами, чтобы:
- проводить все виды тестирования в единой среде
- создавать новые сценарии тестирования на основе исследовательских тестов
Собственно, оптимальным вариантом в этом смысле будет наличие поддержки исследовательского тестирования в интегрированном инструменте управления требованиями, тестами и дефектами. Об одном из таких инструментов — Microsoft Test Manager 2012 — я и хочу рассказать.
В 2012-й версии MTM появилась поддержка исследовательского тестирования. Способы применения этого функционала мне видятся следующие:
- Проведение исследовательского тестирования в дополнение к тестам по сценариям
- Проведение тестирования в условиях отсутствия сценариев тестирования
- Быстрое создание новых сценариев тестирования через сеансы исследовательского тестирования