TeamCity поддерживает jUnit «на лету» и особых проблем с выполнением тестов нет. Но стандартная поддержка не покрывает все юзкейсы. Например, никогда нельзя быть уверенным, в какой очередности пройдут тесты. Кроме того, есть другие вариации тестовой архитектуры, которые просто невозможно сделать дефолтными средствами jUnit. Например, определение в рантайме, какие тесты нужно запускать, а какие нет. Причем с выводом в отчетах в TeamCity без проигнорированных тестов.
Читать полностью »
Рубрика «тестирование» - 107
Кастомная обработка jUnit тестов в TeamCity
2012-08-05 в 10:12, admin, рубрики: junit, teamcity, test automation, testing, тестирование, метки: junit, teamcity, test automation, testingОрганизация удобных багрепортов для альфатестеров браузерной игры
2012-08-04 в 14:29, admin, рубрики: browser game, game development, MMO, тестирование, я пиарюсь, метки: browser game, MMO, тестированиеНа данный момент мы заняты разработкой браузерной игры и в поте лица готовим ее к ближайшим закрытым, открытым, альфа и бета-тестам. В связи с этим надо создать максимально удобную систему багрепота со стороны пользователей. Стоит учитывать, что несмотря на многократные предупреждения игроков, что они являются участниками технического этапа, не стоит испытывать их терпение. Если не формировать никаких условий для « улучшения проекта», то все просто плюнут на ваши трудности и пойдут в какой-нить релизнутый проект, где знай себе — «играй, люби, плати».
Java-клиент для FlexMonkey, или Java-style LocalConnection
2012-08-02 в 15:04, admin, рубрики: flash, Flash-платформа, flex, java, qa, тестирование, метки: flash, flex, java, тестирование 
Думаю, во многих командах, так или иначе связанных с разработкой Flex-приложений, рано или поздно возникает вопрос об автоматизированном тестировании продукта. А так, как наша команда занимается разработкой AIR-клиента для online-покера, совершенно закономерно, такой вопрос возник и у нас.
Читать полностью »
Пятерка фактов о белорусском рынке труда QA специалистов
2012-08-01 в 13:04, admin, рубрики: qa, беларусь, зарплаты, рынок труда, тестирование, метки: беларусь, зарплаты, рынок труда Факт раз, относительный.
В Microsoft на одного разработчика приходится по 2 тестировщика*. В белорусских компаниях таких пропорций еще не наблюдается, среднее соотношение QA к Dev 1:5. Но проекты постоянно усложняются, меняется и это соотношение.
Читать полностью »
Диагностика в картинках: понимаем состояние продукта с помощью таблиц и графиков
2012-08-01 в 5:18, admin, рубрики: Parallels, Plesk, project management, quality, тестирование, управление проектами, метки: Parallels, Plesk, project management, qualityКрасивая идея продукта в рамках крупной компании или стартапа почти всегда неизбежно сталкивается с рядом сложностей на этапе воплощения. Частенько бывает, что работа идет, баги фиксятся, релиз приближается, но общего понимания состояния продукта нет как нет. Так бывает потому, что собственная гениальность создателей софта или сервиса (особенно если речь идет о стартапах) застит им глаза, и проблемы продукта понимаются неадекватно. Как результат — в лучшем случае команда не попадает в сроки релиза, а в худшем – на свет появляется нежизнеспособный продукт, который пользователи презрительно называют альфой и шлют создателям лучи ненависти через форму обратной связи.
Капитан Очевидность намекает: чтобы такого не допустить, важно уметь понимать, в каком состоянии находится ваш продукт на каждом этапе его развития. В этой большой статье предлагается методика оценки его состояния в самой наглядной форме – в форме таблиц и графиков. Здесь обобщен мой опыт и опыт всей команды новосибирского офиса Parallels за последние шесть лет. Чтобы было понятно: мы делаем Parallels Plesk Panel – хостинг-панель, которая используется примерно на каждом втором сервере в мире, предоставляющем услуги веб-хостинга. Применив эту методику, мы получили вот такие результаты:
- существенно улучшилось качество выпускаемых релизов (согласно Incident rate);
- релизы стали более предсказуемыми, точность наших прогнозов и оценок выросла в разы;
- появилось понимание, почему что-то идёт не так и как этого избежать в будущем.
Заинтересованных лиц прошу под кат и в комменты. Отвечу на любые вопросы.
Читать полностью »
Автоматическое тестирование ASP.NET приложения через CUITe — особенности
2012-07-31 в 14:05, admin, рубрики: .net, coded ui, автоматизация тестирования, тестирование, метки: .net, coded ui, автоматизация тестирования 
Сразу оговорюсь — я не являюсь профессиональным инженером по автоматизации тестирования. Однако, поскольку на данный момент так вышло, что это мое основное занятие по работе — буду особенно рад комментариям от людей со специализацией в этой области.
В статье — краткое описание CUITe для тех, кто не сталкивался, использование этого фреймворка для тестирования приложения с фронт-эндом на ASP.NET и проблемы, с которыми столкнулись.
Что есть CUITe
Как говорит описание проекта на codeplex, это тонкая надстройка над UI Testing фреймворком от Microsoft. В описании приведено много преимуществ, но для меня они сводятся к двум: вместо UIMap — Object repository (более красиво, определения (definitions) UI объектов отдельно от остального кода), и разнообразный синтаксический сахар (все наглядно — берем control в UI объекте и вызываем его метод).
Инсталляция банальна — запускаем инсталлер, Next->Next->Finish, подключаем к проекту CUITe.dll — все. Элементы для интеракции находятся с помощью фирменного CUITe Object Recorder™ или вручную (я предпочитаю последнее). Основы записи тут приводить не буду — статья не об этом, по основам инфы много, чего не скажешь о проблемах, описанных ниже (будет интерес — напишу отдельный пост по основам).
Однако не все так радужно.
Об исследовательском тестировании в Microsoft Test Manager 2012
2012-07-27 в 23:19, admin, рубрики: microsoft, Visual Studio, тестирование, метки: тестирование Пару дней назад была статья об исследовательском тестировании, и я хотел бы продолжить тему описанием одного из инструментов, поддерживающих процесс такого тестирования.
Что, собственно, мы ожидаем от такого инструмента, если в исследовательском тестировании у нас нет ни сценария, ни плана, ни четких критериев оценки правильности поведения системы?
Требования к инструменту
На мой взгляд, такой инструмент должен:
- Быть интегрирован с системой баг-трекинга, чтобы можно было заводить дефекты по мере их обнаружения
- Автоматически документировать обнаруженный дефект. Это важно, когда тест идёт не по сценарию, а в произвольной последовательности, которую невозможно держать в голове
- Обеспечивать возможность повторения последовательности исследовательского теста
- Быть интегрирован с системой управления требованиями — чтобы по возможности привязывать обнаруженные дефекты к требованиям
- Быть интегрирован с системой управления тестами, чтобы:
- проводить все виды тестирования в единой среде
- создавать новые сценарии тестирования на основе исследовательских тестов
Собственно, оптимальным вариантом в этом смысле будет наличие поддержки исследовательского тестирования в интегрированном инструменте управления требованиями, тестами и дефектами. Об одном из таких инструментов — Microsoft Test Manager 2012 — я и хочу рассказать.
В 2012-й версии MTM появилась поддержка исследовательского тестирования. Способы применения этого функционала мне видятся следующие:
- Проведение исследовательского тестирования в дополнение к тестам по сценариям
- Проведение тестирования в условиях отсутствия сценариев тестирования
- Быстрое создание новых сценариев тестирования через сеансы исследовательского тестирования
Приглашаем потестить единственное в Украине решение Оracle Database Appliance
2012-07-27 в 10:58, admin, рубрики: oracle, Блог компании МУК, Железо, приглашение, тестирование, метки: приглашение, тестированиеУважаемое читатели, приглашаем всех желающих потестить оборудование Оracle Database Appliance. ODA — одна на всю Украину, привезена нами как демо в начале года. Таким образом это уникальный комплекс, позволяющий протестировать базу данных на живой системе. Краткая инфа об оборудовании, а также возможность послать заявку на тестирование можно под хабракатом
Что такое исследовательское тестирование?
2012-07-25 в 16:33, admin, рубрики: agile, qa, переводы, тестированиеИ чем он отличается от тестирования по сценариям (сценарного тестирования)
Этот пост является переводом статьи Джеймса Баха What is Exploratory Testing? Это первый перевод из серии статей Баха про исследовательское тестирование и все, что с ним связано с сайта http://www.satisfice.com. Если вы нашли неточность в переводе или ошибку в терминологии прошу сообщить о ней в комментариях к статье.
Исследовательское тестирование является мощным и приятным подходом к тестированию. В некоторых случаях оно может быть более продуктивным, чем привычное тестирование по сценариям. Я не встречал еще тестеровщика, который бы не применял исследовательское тестирование, хотя бы на бессознательном уровне. Тем не менее, мало кто из нас подробно изучал этот подход, и он еще не так признан в нашей области. Пора нам прекратить его отрицание, и публично признать исследовательский подход, таким какой он есть: научным мышлением в режиме реального времени. Друзья, это классная вещь!
Использование сообществ для тестирования. Лекция-дискуссия в рамках Ciklum Speakers’ Corner от QA менеджера Unity 3D
2012-07-10 в 17:09, admin, рубрики: ciklum, speakers corner, unity3d, Блог компании Ciklum, комьюнити, Одесса, сообщества, Социальные сети и сообщества, тестирование, метки: ciklum, speakers corner, unity3d, комьюнити, Одесса, сообщества, тестирование 12 Июля, Одесса. Speakers' Corner: «Using User Community for Product Testing»
Встреча для тех, кто связан с продукт тестированием или геймдевом и часто задается вопросом «как создать реально крутую инфраструктуру для продукт тестирования?»
В четверг 12 Июля в рамках полюбившегося всем формата Speakers’ Corner в офисе Сиклум в Одессе представитель Unity 3D, QA менеджер из Дании Thomas Petersen поделится интересными наработками и опытом. Тема доклада-дисуссии: «Using User Community for Product Testing».
В рамках темы будут рассмотрены идеи и методики, как использовать и управлять сообществом пользователей для тестирования Вашего продукта. У Unity Technologies уже успешно получилось создать вокруг своего 3D движка большое сообщество — и они активно пользуются этим в компании. Но всегда есть направления для развития новых возможностей. Томас поделится идеями и наработками в этой области.
Читать полностью »