Привет, я Андрей Шальнев, QA Automation Lead в проекте Skyeng Vimbox. В течение года мы с командой занимались оптимизацией процессов автоматического тестирования и сейчас вплотную подошли к ее финальной стадии. А это хороший повод выдохнуть, пересмотреть бэклог и подвести какие-то промежуточные итоги. Для Хабры я решил сделать подборку из десяти наиболее полезных и при этом простых вещей, которые помогли нам справиться с задачей оптимизации автотестов. Надеюсь, статья пригодится QA-командам в растущих компаниях, где старые процессы тестирования уже не справляются с нагрузкой, и вопрос реорганизации встает ребром.
Рубрика «Тестирование IT-систем» - 22
Автотестирование: десять лайфхаков от команды Skyeng
2019-07-25 в 10:58, admin, рубрики: angular, failFast, javascript, protractor, regression tests, testrail, UAT, Блог компании Skyeng, отладка, Тестирование IT-систем, Тестирование веб-сервисовАвтоматизация тестирования платных сервисов на iOS
2019-07-23 в 13:01, admin, рубрики: App Store, iOS, StoreKit framework, автоматизация, биллинговые системы, Блог компании Badoo, мок-функция, песочница Apple, платежные системы, платные сервисы, Тестирование IT-систем, Тестирование мобильных приложений, фейк-объект, функциональное тестирование, чекДля тех, кто интересуется темой автоматизации на iOS, у меня две новости — хорошая и плохая. Хорошая: в iOS-приложении для платных сервисов используется только одна точка интеграции — in-app purchases (встроенные в приложение покупки). Плохая: Apple не предоставляет никаких инструментов для автоматизации тестирования покупок.
В этой статье я предлагаю вам вместе со мной поискать универсальный метод автоматизации по ту сторону добра и зла Apple. Статья будет полезна всем, кто интегрирует в свои приложения сторонние сервисы, представляющие собой «чёрный ящик»: рекламу, стриминг, управление локацией и др. Обычно такие интеграции очень сложно тестировать, так как отсутствует возможность гибкой настройки стороннего сервиса для тестирования приложения.
26 июля, Deworkacy — DocOps от Ростелекома
2019-07-22 в 11:41, admin, рубрики: asciidoctor, docops, Блог компании Ростелеком, документация, конференции, митапы, Ростелеком, Тестирование IT-систем, управление разработкойПривет!
Мы тут решили провести митап по DocOps — это почти как DevOps, только про документацию и всё, что с ней связано. Таких мероприятий обычно не так много, оно и понятно — документация не такая хайповая штука, как React, к примеру. Да и не только React, прямо скажем. Злые языки вообще утверждают, что от документации зрение портится.
Но она реально важна, с ней работают люди, и чем правильнее и логичнее у вас в компании выстроены процессы работы с документацией, тем всем будет проще. Даже тем коллегам, работа которых (на первый взгляд) в документацией не связана.
В общем, в пятницу, 26 июля, мы в 19.00 собираемся в Deworkacy (Москва, Берсеневская набережная, 6, стр 3) и начинаем документировать говорить про документацию. Список докладов — под катом.
Читать полностью »
Продвинутый Debug
2019-07-20 в 15:42, admin, рубрики: debug, expression, LLDB, swift, xcode, Тестирование IT-системDebug Area — полезная функция в работе iOS разработчика в Xcode. Как только мы начинаем осваивать разработку под iOS, и пытаемся отойти от привычного и любимого print метода, и найти более быстрые и удобные методы понимания состояния системы в определенный период мы начинаем изучать область дебага (Debug Area).
Скорее всего, в Debug панель ваш взгляд упадёт до того, как вы будете понимать, что именно там происходит. При первом падении приложения нижнее меню открывается автоматически, оно изначально может послужить помощью для понимания проблемы (Вспомним старую добрую “Fatal error: Index out of range”), в основном в самом начале вы не будете понимать, что от нас хочет Xcode и приметесь гуглить ошибки, но по ходу роста всё больше и больше информации станет понятной.
С самого начала программист старается оптимизировать свою работу. Для этого мы стремимся понять в какой момент наша программа перешла в некорректное состояние. И тут в зависимости от точки в которой находится эволюция программиста, методы могут разниться. Сначала как правильно Debug осуществляется методом “print()”, потом идёт расстановка Breakpoints и вызов методов “po”, далее ознакомление с Debug Variable Input (области рядом с консолью в Xcode), а далее приходит понимание и способов компиляции кода в процессе остановки на Breakpoint методов — “expression” (По крайней мере, такая была эволюция у меня).
Давайте попробуем разные способы которые нам помогут понять и изменить состояние нашего приложения. Самые простые вроде “print()”, и “po” рассматривать не будем, я думаю, вы и так понимаете их суть и умеете применять.
Создадим простое приложение с одним экраном в котором будем всего один тип ячеек (TableViewcell) c двумя элементами внутри: UIImageView и UILabel. В ячейках будем писать её порядковый номер, а в картинку ставить либо image1, либо image2.
Метод tableViewCellForRowAtIndexPath будет создавать для нас ячейки, проставлять данные и возвращать:
Используем пайпы для пивотинга
2019-07-20 в 6:48, admin, рубрики: [MIS]Team, Pivoting, redteam, rsosckpipe, информационная безопасность, Тестирование IT-системНи для кого не секрет, что корпоративные IPS становятся все умнее и умнее. Сейчас уже никого не удивишь IPS с SSL-митмом на периметре сети или даже внутри корпоративной сети между сегментами. В то же время, по-мимо всем известных IPS, стали появляться и распространяться различные EDR-решения, которые уже непосредственно на хостах смотрят за устанавливаемыми соединениями. В связи с этим порядочному RedTeam специалисту с каждым днем все труднее и труднее скрываться от вездесущего взгляда BlueTeam. Приходится становиться все изобретательнее в своей нелегкой работе.
Одним из решений для маскировки наших «более полезных деструктивных действий»(с) внутри корпоративных сетей может послужить использование протоколов SMB или RDP. Можно спрятаться внутри них и замаскироваться под легитимный трафик. В этом ничего особо нового нет и техника маскировки внутри SMB используется со времен знаменитых APT-компаний Duqu и Sauron. Там ребята также с большим успехом использовали SMB протокол для передачи управляющих команд своим агентам. После этого данную технику переняли разработчики Metasploit и Cobalt Strike.
В данной статье мы рассмотрим варианты использования протокола SMB для пивотинга, а RDP уже оставим на потом.
Читать полностью »
Встреча Общества Анонимных Тестировщиков: TMS, мониторинг мониторинга, оценка качества поиска и нативные iOS-тесты
2019-07-19 в 11:52, admin, рубрики: meetup, конференции, общество анонимных тестировщиков, тестирование, Тестирование IT-систем, Тестирование веб-сервисов, Тестирование мобильных приложенийПривет, меня зовут Зоя и я тестировщик. Наша Седьмая Встреча Общества Анонимных Тестировщиков в этот раз пройдет в офисе Авито (и да, я тут работаю, поэтому шансов не провести митап в Авито практически не было!).
Встреча будет 1 августа в 19:00 (регистрация — с 18:30) в московском офисе (ул Лесная, 7). Говорить будем о самодельных TMS, про мониторинг мониторинга, подходы к оценке качества поиска и нативные iOS-тесты. Под катом — тезисы выступлений, ссылки на регистрацию и прямую трансляцию. Приходите!
Настройка ClickHouse для интеграционного тестирования в gitlab-ci
2019-07-13 в 10:26, admin, рубрики: clickhouse, docker, sql, интеграционное тестирование, Тестирование IT-системУ нас был сервис на golang, отдельный топик kafka, clickhouse, gitlab-ci и падающий пайплайн, протухший ssh-ключ и вот это вот все, а еще сезон отпусков, жуткие ливни в городе, сломавшийся ноутбук, алерты по ночам, и горящий прод. Не то, чтобы это все было нужно для этой статьи, но раз показываешь типичные будни тестировщика, то иди в своем намерении до конца. Единственное, что меня беспокоило — это p0. В мире нет ничего более отчаянного, мрачного и подавленного, чем тестировщик, который пропустил это на прод. Но я знала, что довольно скоро я в это окунусь.
Читать полностью »
Смок-тестирование релиз-кандидата автотестами за 15 минут
2019-07-12 в 7:45, admin, рубрики: automation, bdd, qa, test. qa test, Тестирование IT-системМеня зовут Лилия, я QA Lead в одном из проектов финансовой группы БКС (сервис по подбору выгодных для клиента предложений из ряда кредитных продуктов), и сегодня я расскажу, как мы автоматизировали смок-тестирование, с какими проблемами столкнулись и какой стек технологий используем.
Сначала мы решили автоматизировать регресс-тестирование, но время шло, функциональность менялась и мы поняли, что довольно много времени тратится на поддержку уже написанных автотестов. Поэтому решили автоматизировать сначала смок-тест, а затем уже расширять его до автоматического проведения регрессионного тестирования. Перед отделом тестирования была поставлена задача в максимально сжатые сроки произвести автоматизацию смок-тестирования, т.к. проект продолжал расти и обрастать дополнительными функциями.Читать полностью »
Как не потерять деньги в черном ящике: методы тестирования биллинга
2019-07-11 в 15:23, admin, рубрики: qa, биллинг, Блог компании Badoo, моки, Песочница, платежи, платежные системы, риски в тестировании, стабы, тестирование, Тестирование IT-систем, Тестирование веб-сервисов, Тестирование мобильных приложений, фейки, черный ящикПроверка платных сервисов — один из ключевых инженерных вопросов в тестировании Badoo. Наше приложение интегрировано с 70 платёжными провайдерами в 250 странах мира, и баг хотя бы в одном из них может привести к непредсказуемым последствиям.
В этой статье я расскажу о методах тестирования, которые мы используем в Badoo, и о границах применимости этих методов — этапах тестирования, на которых они максимально эффективны.
Статья будет полезна тестировщикам, разработчикам и продакт-менеджерам, чьи проекты уже интегрированы с платёжными провайдерами, или процесс интеграции только начинается. Если в своей работе вы сталкиваетесь с проблемой выбора методов тестирования таких интеграций, добро пожаловать под кат!