В тестировании ПО очень важна организация процесса: кто чем занят? Кто, что, когда тестировал? На какой сборке впервые появилась та или иная ошибка? Кто это тестировал? Какой у нас статус требований?
Пытаясь ответить на все эти вопросы, мы организовывали хранение требований и чек-листов в виде google-таблиц, но со временем поняли: пора искать специализированный инструмент. Результатами поиска и сравнения вариантов я и хочу поделиться с вами в этой статье.
В связи с удалённой рабочей командой и в целом в силу привычки мы рассматривали только веб-варианты. Отбросив по первичному анализу совсем неподходящие нам решения, на выбор остались три кандидата:
Получаем в результате: Triple Threat Match. Кто кого — увидим в честном бою.
Для начала, мы в команде определили критерии отбора:
- Стоимость лицензии: желательно бесплатно, или хотя бы, недорого;
- Поддерживаемые окружения: в команде используются Google Chrome, Mozilla Firefox, Safari — отказываться или менять браузеры никто не готов;
- Функционал управления тестами: здесь нам важнее всего было удобное создание тестовых наборов, ведение статистики прохождения и наглядной отчётности;
- Наличие элементов тест-менеджмента: очень хочется от инструмента возможностей планирования своих задач, контроля за планами и сроками;
- Юзабилити: если кому-то в команде что-то не понравится, то тратить своё время и “вникать” вряд ли будем. Всё должно быть понятно сразу.
По этим критериям и разберём каждого из кандидатов.
Стоимость
Пойдём по мере убывания:
- TestRails нам предлагает исключительно платные лицензии, в зависимости от их условий стоить она будет от 69$ до 8999$, серьезная плата для серьезного продукта. Дабы не покупать кота в мешке, нам предлагают воспользоваться тестовой версией на 30 дней, которая будет бесплатной — по ней и проводили анализ. В нашем случае (до 15 пользователей) TestRails будет стоить 1399€ или 2149$.
- Sitechсo для локальной установки обходится в 12000 рублей, SaaS использование бесплатно. Учитывая работу по https-протоколу и не слишком строгих, в плане безопасности, заказчиков, нас веб-версия вполне устроила.
- TestLink бесплатный при условии установки его к себе на сервер. Пришлось повозиться, но стартовало. По цене однозначный лидер.
Поддерживаемые окружения
Что касается совместимости, все браузеры заявлены в поддержке TestRails и TestLink, но IE не поддерживается в Sitechco:
Учитывая наш набор окружений, это не критично, но для многих пользователей (особенно, тестирующих какое-нибудь банковское ПО в урезанных окружениях) может быть.
Функционал управления тестами
Самым главным критерием в выборе системы для нас, естественно, является ее функционал. Мы совместно проработали список необходимых “фич”:
- Создание тестов и чек-листов;
- Контроль прохождения тестирования;
- Импорт и экспорт тестов (желательный формат — таблицы);
- Отчёты о проведении тестирования и по оценке качества ПО;
- Деление прав пользователей;
Из желательных, но не обязательных, в список вошли:
- Интеграция с Redmine;
- Ведение требований с анализом тестового покрытия;
- Внешний API для авто-тестов;
Создание тестов и чек-листов
В TestRail создание тестов реализовано c помощью Test Suite, в которые помещаются Тесты.
Добавление производится быстро, по принципу создания Test Case и отдельного описания, с возможностью разделения на секции и прикрепления, при необходимости, файлов. Внутри теста можно подробно расписывать шаги, но мы в большинстве случаев ограничились понятными заголовками.
Sitechco реализовало тестовые наборы в виде Чек- и Чит-листов. Сами Чек-листы просты, ничего лишнего или заумного: тест, проверка, приоритет, ну и различные дополнения: прикрепление требований, трудозатратность, иерархия в виде групп и мастер-группы.
Важную, как по мне, роль имеют чит-листы, с уже существующим набором тестов. Сэкономит время на создание своих и будет полезно на будущее. Эти элементы играют роль конструктора: написал стандартные чит-листы и вставляешь их в чек-листы по мере необходимости. Удобно, когда есть много стандартных проверок, например, нам надо разные поля проверять и на юзабилити гайдлайны, и на XSS-/SQL-инъекции. Данные повторяются, копипастить — зло, но нужен статус прохождения в разных контекстах и для разных полей.
Создание тестов в TestLink напоминает чем-то формы создания в TestRail. По аналогии тестовые наборы создаются в Test Suite, в которые вкладываются тесты.
Смотрится довольно запутанно и при этом примитивно:
Одни и те же тесты можно будет добавлять в разные сценарии, что в нашем случае выполняет похожую функцию, как и чит-листы в Ситечко. Но чтобы тесты были атомарными и маленькими (с наглядным результатом для отчёта) в TestLink показалось слишком много телодвижений. Ну ОЧЕНЬ много.
Контроль результатов
Разработчики TestRail предложили своим клиентам несколько вариантов отчетности:
Что позволяет собрать информацию о тестировании по багам, результатам, запускам и пользователям. Но! Каждый отчет необходимо обрабатывать, что очень неудобно и заставляет делать лишние движения для получения информации, плюс затрачивается время на формирование отчета:
Хотя в этом есть свой плюс — присутствует возможность рассылки отчетности на несколько е-mail-ов. Что касается самого типа отчета, то отображается графическое представление результатов и перечень всех тестов с соответствующим значением.
Sitechco позволяет формировать отчеты автоматически, не производя лишних действий для его получения. 4 основных вида отчета дают полную информацию о тестировании проекта.
Отчет по запускам отображает весь список Чек-листов, по которым производилось тестирование, присутствует возможность просмотра общей и подробной информации. По результатам прохождения возможно увидеть отчет по 5 последним запускам Чек-листа, плюс, позволяет настроить отчет под себя. Форма группового отчета показывает в графической форме представление результата:
TestLink заставил попотеть и помучатся с запуском тестов для прохождения. Долго не поддавалась система, что уже не понравилось. После совместных разбирательств, мы догадались, как это сделать. Вариант отчета разработчики предложили в таком виде, который показался нам недостаточно информативным:
Хотя вариантов отчетов очень много, но все однотипные и в неприемлемом, во всяком случае для нас, формате.
Импорт и экспорт тестов (желательный формат — таблицы)
В TestRail возможен экспорт в 3 форматах: xml, CSV и Excel. Но как ни странно, при попытке получить отчет в Exсel мне выдавалось в формате CSV.
В импорте всё выглядит проще и представлено в форме выбора файла с ПК в формате xml. Также присутствуют возможности добавления в уже существующий список тестов и создание нового.
Sitechco не теряет своих амбиций и представил своим пользователям экспорт данных в формате xls. Но, здесь тоже своя загвоздка, открытие файла возможно только в Microsoft Office.
А вот импорт был очень даже интересным. Не пришлось ничего сохранять в отдельный файл — вставка из файла на ПК или Google Docs произошла успешно и без лишних телодвижений, простым копипастом нужных строк таблицы.
Экспорт в TestLink представлен только в одном формате — xml. Есть возможность скачивания как полного списка тест кейсов, так и отдельных папок.
Импорт поддерживается в аналогичном формате — xml. Представлено в виде загрузки отдельного файла с ПК для общего списка и для папки в отдельности.
Деление прав пользователей
Итак, начнём по порядку. TestRail предлагает нам на выбор 4 роли:
Роли легко редактируются, при помощи выставления чек-боксов для разрешения действий:
Также порадовала функция создания отдельных групп пользователей, что позволяет разбить пользователей по отдельным спискам:
В “кухонном” друге я обнаружил 5 ролей пользователей:
Долго пытался понять кто и что может, но ответ был “на поверхности” — в справке присутствует подробное описание, что упрощает задачу. Единственное, что хотелось бы — создавать свои списки, но видимо в веб-версии это не предусмотрено.
TestLink предлагает своим пользователям воспользоваться уже встроенными вариантами:
Также присутствует возможность создавать свои списки пользователей, с выставлением прав:
У меня сложилось мнение, что TestLink и TestRail имеют в некоторых моментах идентичную модификацию в настройках. Но вот в TestRail поработали над удобством использования, а TestLink не радует удобством.
Интеграция с Redmine
Наша компания использует Redmine и логично, что мы искали систему, поддерживающую интеграцию с данным баг-трекером. Под список выбора попадают все три претендента. Постараюсь описать подробнее по каждому.
Testrail. Интеграция, как уже говорили другие пользователи ранее: “проста и гениальна” одновременно:
Данная настройка подходит для большей части онлайн баг-трекеров. При заведении бага форма, как мне показалось, не была продумана до конца и потому содержала минимальное кол-во полей.
Возможно, разработчики не захотели усложнять себе жизнь, а возможно было сделано на скорую руку. Но лично мне не сильно понравилось, мы заполняем больше полей при заведении ошибок, и неудобно после заведения ошибки из TMS заходить и редактировать её в Redmine. Сама ссылка на баг отображается рядом с тестовыми данными, что не затрудняет восприятие, а при нажатии можно посмотреть информацию подробнее — это очень удобно:
Но главным минусом интеграции через TestRail является авторизация только одного пользователя, что в следствии очень неудобно при разборе багов программистом. Появляются лишние вопросы и излишняя суета.
Настройки интеграции в Sitechco довольно просты и осуществляется пошагово. Запутаться сложно. Изначально выбирается проект, ссылка на сам баг-трекер и администраторский доступ к нему.
По началу всё обычно, а вот дальше — явный плюс: возможность настройки полей, которые будут отображаться в форме заведения дефекта. Несомненно нужная штука!
Все мои настройки имели влияние на формы для заполнения. Ничего не скажешь, добротно продуманно и для людей.
В отчетах тоже ничего сверхъестественного, список багов через запятую, данные ссылочные и отображают статус бага в данный момент.
TestLink. Интеграция по аналогии с TestRail, потому сильно распыляться не буду, так как сама интеграция мне не понравилась изначально.
Уж очень неудобно заводить баги в таком формате, живя в мире развивающихся технологий.
Ведение требований с анализом тестового покрытия
Следующий важный нам пункт — связи с проектными требованиями. У нас на проекте они ведутся не детально, но статус по ним должен быть прозрачным, своевременным, и раньше мы использовали google-табличку, в которой всё время забывали что-то актуализировать.
Поклацав всех трёх наших кандидатов, я не заметил очевидного в TestRail, так что по этому пункту он из игры выбывает.
В Sitechco пункт “Требования” есть в главном меню, но заставил меня покорпеть, прежде чем я смог сделать его активным (через настройки проекта, как оказалось).
Дальше попадаем в список требований, которые можем создавать или импортировать из таблиц.
Окно создания не содержит ничего лишнего: название и описание. Не хватает только добавления вложенных файлов — возможно, придётся пользоваться ссылками на сторонние файлхостинги.
Меня порадовал также импорт требований, видимо создано по аналогии с импортом тестов, также ничего сложного и заумного. Представлено в виде окна, с выбором каталога для импорта и самим полем. Присутствует также справка:
Создав/импортировав требования, мы можем осуществить связку между каждым тестом (проверкой в чек-листе, а не всем чек-листом) и требованием, работает эта связка по принципу многий ко многим:
Давайте посмотрим как обстоят дела в TestLink. Производитель предлагает набор функций для работы с требованиями: создать, импортировать, экспортировать, создать тестовые наборы и скопировать требования.
Операции по созданию требований довольно просты, имеют возможность прикрепления файлов, что более чем покрывало все мои желания к виду требований. Но пользоваться было не очень неудобно — как и почти всё в TestLink.
Сам импорт как и экспорт поддерживается в формате CSVXMLDocBook. Видимо весь проект Testlink ориентирован на формат CSV.
Требования прикрепляются к Test Case и помогают в процессе тестирования, дабы проверить полноту покрытия требований проверками и не допущения пробелов во время тестирования.
Юзабилити:
О простоте работы я немного сказал вначале, хотелось бы продолжить разговор на эту тему и раскрыть следующие особенности. Возможность использования горячих клавиш для создания тестов и групп в чек-листах реализована только в Sitechco.
Такие же моменты, как описание групп пользователей и простота использования отмечаются у всех трех продуктов. Но на фоне всех стандартных требований, очень понравилось то что TestRails позволяет самостоятельно создать адрес проекта, а testlink шагнул еще дальше и предложил собственный сервер хранения данных. Sitechco же, отличилось консервативностью в этом плане и не стало баловать дополнительными наворотами, видимо уповая на широчайший функционал и простоту использования.
Специальные предложения:
Чего-то сверхъественного мне обнаружить не удалось. Единственное, что мне бросилось в глаза, так это планировщик задач Ситечка, которые чем-то напоминает Todoist, в силу отображения количества задач на мне и возможности планировать на будущее.
Что самое главное, как сказал наш тест-менеджер: “Я теперь смогу вас контролировать” и ехидно улыбнулся. Оказывается, что данная вкладка позволяет также просматривать какой из чек-листов на данный момент запущен, какой был завершён. “Паливо”- подумал я и попытался поискать данную функцию в TestRail и TestLink. Увы! Данный функционал поддерживается только в Sitechco, а считать это плюсом или минусом — мы с начальством придерживаемся разных точек зрения.
В силу развития всяческих мобильных фишек я также ожидал, что откопаю подобные вещи (мобильные версии, мобильные приложения), но, к сожалению, ни один из соперников не имел данного функционала в своём вооружении. Проводить тестирование с кучей вкладок неудобно, согласитесь. Потому было бы “в кассу” производить отметки о результатах на планшете и при этом не загромождать пространство на столе.
Как говорит одна из телеведущих украинского канала, Ольга Фреймут, в своих проверках: “Ну що? Поговоримо?” (Ну что? Поговорим?)
- TestLink. Собственно чего я ожидал от бесплатного сервиса? Все догадки подтвердились. Поставить галочку, что бесплатный, есть базовый набор функций — только и того. Извини, дружище, ты в нокауте, всё как-то замудрено и не увидел изюминки.
- TestRails. Да, ничего не скажешь, штука мощная, во своими плюсами и своими минусами. Но в силу отсутствия мультиязычности и не отличающийся такой уж и “дешевизной”, я так и не смог себе это позволить. Не один я ведь буду работать, потому эгоизм свой пришлось “удалить из настроек”.
- Sitechco . Просто и со вкусом, ничего заумного или сложного для понимания. Мне, возможно показалось, но компания только недавно начала появляться на арене IT и недооценивает свои возможности, либо специальная цена продукта в силу экономического кризиса стран.
| Критерии сравнения | Sitechco | TestLink | TestRails |
|---|---|---|---|
| Основные | |||
| стоимость лицензии | $0-$500 | - | $69-$8,999 |
| браузеры | кроме iE | все | все |
| функционал | |||
| автосохранение/контроль версий | да | да | да |
| шаблоны | да | нет | нет |
| печать/ссылка на отчет | да | да | да |
| импорт/экспорт | да | да/нет | да/да |
| мобильная версия | нет | нет | нет |
| окружения/сборки/требования | да/да/да | нет/да/да | нет/да/нет |
| подсказки | да | нет | да |
| Элементы тест-менеджмента: | |||
| тест план | да | да | нет |
| тест кейсы | да | да | да |
| поддержка автотестов | нет | нет | нет |
| чек-листы | да | да | нет |
| Разграничение ролей пользователей | есть | есть | есть |
| поддержка аттача файлов(файловое хранилище) | нет | нет | нет |
| е-мейл нотификации | есть | нет | есть |
| Работа с Чек-листами | |||
| настройка полей в ЧЛ (разные типы ЧЛ, отдельно настройка тестового окружения, например) | есть | нет | нет |
| удобство редактирования (субъективная оценка) | удобно | не удобно | не особо удобно |
| связь с требованиями | да | да | нет |
| Отчётность | |||
| по сборкам | да | да | нет |
| по окружениям | да | нет | нет |
| по тестерам | да | нет | нет |
| по дате выполнения | да | нет | да |
| по результату | да | да | да |
| какое-либо отображение статуса тестируемого продукта | есть | есть | есть |
| отчётность по разным ЧЛ сразу | да | да | да |
| отчётность по покрытию требований | да | да | нет |
| отчётность по результатам тестирования требований | да | да | нет |
| Юзабилити | |||
| простота | да | да | да |
| хоткеи | да | нет | нет |
| описание групп пользователей | да | да | да |
Основывайтесь на свои предпочтения, я постарался объективно сравнить этих трёх бойцов, но пока не определился с 2 победителями: кухонной утварью или штукой бизнес-класса. Оба кандидата имеют свои плюсы и минусы, чем по-своему привлекают. В любом случае, вопрос будет решать фин. директор основываясь на выделенный бюджет, ну а мне остаётся только ждать.
Автор: Favorsky
