Открытая бесплатная трансляция конференции по тестированию — Heisenbug 2018 Piter

Shipping is a risky business

Комментарий Программного комитета:

Хотите услышать мнение автора Selenium WebDriver про тестирование в нашем мире? Приходите!

Businesses don’t write and release software for the fun of it. They write code to meet business needs. Of course, no software is without bugs, and no process is without edge cases, missed opportunities, and the normal sprinkling of errors. This means that each release is the result of a risk assessment that has determined that the risks of release outweigh the costs of failure to push to production. Because we’re human, that assessment is coloured not just by the fear of risk.

Canary releases, feature toggles, vigilant monitoring, and clearly defined rollback procedures are all technical approaches to mitigating this risk, but what else can we do? In particular, what can testers contribute over the lifetime of the project to keep the risk as low as possible? Over the course of this talk, we’ll recast the software development lifecycle as a conversation about risk. We’ll discuss the position of testers in a team, the role of testing, and the place that automation has in the conversation that is software development as a mechanism for assuaging the fear of risk.

Simon Stewart / The Selenium Project

Simon Stewart is the creator of WebDriver, the Open Source browser automation tool, and is the Selenium project lead. He previously led the build tool team at Facebook, developing the graph-based build tool Buck, and being a strong advocate of monorepos. Before joining Facebook, he spent almost five years at Google, and three at ThoughtWorks. He’s seen a lot of code.

Simon has an interest in byte-for-byte reproducible builds at incredible speed, and describes himself as "undeniably hairy".

Краудсорсинг в тестировании

Комментарий Программного комитета:

Что будет, если тестированием займутся много-много людей, которые до этого вообще не имели отношения к IT? Из этого вообще что-то хорошее может получиться? Может!

Мы хотим рассказать о том, как мы в Яндексе решили проблему масштабирования задач ручного регрессионного тестирования с помощью краудсорсинга.

Регрессионное тестирование — очень важная часть работы над качеством продукта. И чем больше у вас продуктов и чем быстрее они развиваются, тем больше усилий нужно на него тратить.

За последний год мы научились масштабировать задачи ручного тестирования для большинства продуктов Яндекса с помощью асессоров — удаленных сотрудников, работающих по совместительству на сдельной основе, и теперь в тестировании наших продуктов кроме штатных тестировщиков принимает участие более 700 асессоров.

В докладе мы расскажем:

• как удалось сделать задачи ручного тестирования максимально формализованными и обучить им сотни удаленных сотрудников;
• как удалось поставить процесс на промышленные рельсы, обеспечить тестирование в различных окружениях, выдерживать SLA по скорости и качеству;
• с какими трудностями мы сталкивались и как их решали (а некоторые еще не решили);
• какой вклад внесло тестирование асессорами в развитие продуктов Яндекса, как оно сказалось на частоте релизов и количестве пропускаемых багов.

Ольга Мегорская / Яндекс

Руководитель краудсорсинговой платформы Толока и управления экспертных оценок Яндекса.

В настоящее время отвечает за автоматизацию, масштабирование и применение краудсорсинга в самых разных направлениях и проектах в Яндексе: сборе данных для обучения искусственного интеллекта, работе колл-центров, служб поддержки пользователей, модерации контента, производства данных для карт, переводах и многих других.
Один из недавних проектов — построение процессов ручного тестирования с помощью краудсорсинга.

Область интересов — математика в мире экспертных оценок, автор докладов и статей по этой теме.

Тестирование на основе сетей Петри

Комментарий Программного комитета:

Применение математического аппарата для создания тестов можно смело назвать Тестированием 2.0. Алексей расскажет, как эту задачу решили на своём проекте, покажет альтернативные способы разработки тестов с помощью теории графов.

Что делать, когда тесты принципиально не способны находить ошибки, возникающие при необычных состояниях тестируемой системы, обычно называемые «edge cases»? Можно ли увеличить тестовое покрытие и находить больше ошибок, не создавая излишних тестов и не жертвуя временем их выполнения?

В этом докладе мы поговорим о том, как мы столкнулись с этой проблемой в Toptal, начали переход от обычных тестов к тестированию на основе моделей, какие проблемы встретили на этом пути, почему мы используем сети Петри вместо конечных автоматов и что у нас получилось в итоге. Доклад будет проиллюстрирован примерами сетей Петри и множеством Ruby-кода.

Алексей Родионов / Toptal

Занимается тестированием больше 11 лет, из них последние 5 лет помогает улучшать качество в Toptal, крупнейшем в мире распределенном сообществе высококлассных специалистов. Контрибьютор Mozilla. Разработчик Watir. Коммитер Selenium, где отвечает за Ruby-часть.

Don’t repeat yourself: UI-тесты для веб, iOS и Android одновременно

Комментарий Программного комитета:

Сделать успешные мультиплатформенные тесты оказывается не так сложно (история успеха).

Никого уже не удивишь, что у продукта есть веб-версия и мобильное приложение. При этом UI-тесты чаще всего пишутся отдельно для каждой платформы. Очень часто при этом мы получаем разные фреймворки, тестраннеры, иногда даже языки, а заодно и поддержку этого зоопарка. Затем при изменениях в поведении продукта приходится менять одно и то же в нескольких местах.

Давайте посмотрим, как на основе open source-решений можно быстро организовать E2E-тесты, которые заработают и в вебе, и в мобильных приложениях, а также какие сложности возникнут с подобным решением. Подход будет продемонстрирован на Python-стеке, но может быть легко перенесен на другой стек.
#python #web #mobile

Игорь Балагуров / Uptick

Последний год Игорь занимается автоматизированным тестированием в стартапе Uptick. В основном пишет тесты на Python для UI (Web + Mobile) и API (REST + GraphQL) и немного на .NET (Component и Integration-тесты). До этого работал в Новых облачных технологиях, где получил опыт написания и поддержки более тысячи веб-тестов на Ruby, Watir, Cucumber.

10 000 000 тестов в день

Комментарий Программного комитета:

Хорошо, когда у вас много автотестов, и становится немного сложно, когда их количество превышает разумные пределы по разным причинам. У Сергея уникальный опыт запуска огромного количества тестов одновременно на множестве платформ, чем он и поделится.

Однажды небольшой QA-команде поставили задачу: прогонять все тесты за двое суток независимо от их количества, которое росло, растёт и продолжает расти. На момент доклада тестов уже десятки миллионов. И это рассказ о том, как мы строили процессы и инфраструктуру, в какие лужи сели, а какие обошли, и, главное, как перестали бояться и полюбили большие числа.

Сергей Гринев / Azul Systems

Тимлид QA/Release команды в Azul Systems, отвечающей за Zulu OpenJDK. До этого долгое время проработал в Oracle, где занимался QA JavaFX и Java2D. Любит делиться своим опытом на конференциях и stackoverflow.com

The logic of verification

Комментарий Программного комитета:

Майкл в комментариях не нуждается.

Software testing is sometimes described as «verification and validation» — according to Wikipedia «the process of checking that a software system meets specifications and that it fulfills its intended purpose». Yet, if we examine the concept and logic of verification, we quickly recognize that there are serious limitations to what can and cannot be checked and verified. This is not to say that checking is a bad thing — on the contrary; checking can be very valuable. Still, it’s important for testers and their clients to recognize the fundamental limitations of checking, and to address those limitations in our testing strategies.

In this talk, Michael Bolton will outline the logic of verification and ways in which we might be vulnerable to false premises and misleading conclusions about it. He’ll also identify ways that we can address those problems by embedding verification in a larger system of testing, experimentation and critical thinking.

Michael Bolton / DevelopSense

Tester, consultant, and trainer Michael Bolton is the co-author (with James Bach) of Rapid Software Testing, a course that presents a methodology and mindset for testing software expertly in uncertain conditions and under extreme time pressure. Michael is a leader in the context-driven software testing movement with twenty years of experience testing, developing, managing, and writing about software. Currently, he leads DevelopSense, a Toronto-based consultancy. Prior to DevelopSense, Michael was with Quarterdeck Corporation. Michael's home page is www.developsense.com.

Как разработчику научиться строить тестовую пирамиду

Комментарий Программного комитета:

Тестовые пирамиды без велосипедов и костылей.

Мы слышим ото всюду о том, как важно строить пирамиды, чтобы тестирование стало быстрым, простым, надежным. Но почему никто этого не делает? Мы обсудим:

• Какие из тестов на каком уровне стоит писать, чтобы построить пирамиду;
• Как создавать несколько пирамид, учитывая, что многие проекты сегодня фактически состоят из двух подпроектов: backend & UI;
• Какой должна быть архитектура приложения, чтобы позволять писать больше низкоуровневых тестов;
• Какие моки помогают, а какие мешают выстроить качественное тестирование.

Доклад ориентирован на разработчиков и руководителей проектов.

Станислав Башкирцев / EPAM Systems

Разрабатывает с 2008-го, в основном на Java. Всегда тяготел к тестированию и качеству кода. В какой-то момент начал увлекаться оптимизацией процессов и в 2013 переключился на CI/CD активности. Никогда полностью не был доволен работой AQA и поэтому в 2015 ушёл в тестирование, чтобы доказать, что всё можно делать намного лучше. Доказал и ушёл в бизнес-анализ.

Вы всё еще пилите свой отчет? Тогда мы идем к вам!

Комментарий Программного комитета:

Бренд нью Аллюр 3.0.

С момента релиза второй версии Allure прошел уже год. За это время у нас сильно увеличилось количество тестов, мы переехали на новые инструменты и научились визуализировать информацию о качестве наших тестов. Все эти изменения отразились на Allure, и мы выпустили новую мажорную версию нашего отчета.

Доклад будет одинаково интересен как тем, кто незнаком с Allure-отчетом, так и активным пользователям. Мы добавили довольно много новых фич. Приходите, будет интересно!

Артем Ерошенко / QametaSoftware

Более 8 лет занимается автоматизацией тестирования веб-приложений. За это время работал в разных командах и в разных ролях: автоматизатор тестирования, менеджер команды разработки инструментов тестирования, руководитель группы автоматизации тестирования. Артем имеет большой опыт работы с популярными инструментами (Selenium, HtmlElements, Allure, Jenkins). Программирует в основном на Java, Groovy.

Тестируем до последнего: smart responsive interface design patterns

Комментарий Программного комитета:

В докладе вы узнаете о всех тонкостях того, как UX влияет на продукт, сможете понять, на что стоит обращать внимание при тестировании.

В докладе Виталий проведет детальное исследование общих компонентов интерфейса и проблем отзывчивых пользовательских интерфейсов.
Рассмотрим, что из себя представляют идеальный аккордеон, указатели даты и времени, сравнительные таблицы, страховой калькулятор, конфигуратор автомобилей и многое другое.

Внимание! Возможно, вы не сможете забыть всё то, чему вы научитесь во время доклада.

Виталий Фридман / Smashing Magazine

Виталий Фридман любит красивый контент и никогда просто так не сдаётся. Родом из Минска, Беларусь, Виталий изучал информатику и математику в Германии, где обнаружил интерес к типографии, письму и дизайну. Проработав в качестве фрилансера дизайнером и разработчиком в течение шести лет, он основал Smashing Magazine, один из ведущих онлайн-журналов о дизайне и веб-разработке. Виталий — автор, соавтор и редактор всех Smashing Books. В настоящее время занимает позицию главного редактора Smashing Magazine в прекрасном городе Фрайбург, Германия.

Web security testing starter kit

Комментарий Программного комитета:

Введение в тестирование безопасности веб-приложений от исследователя, bounty hunter’а, тренера, нашедшего много критических уязвимостей, в том числе и в Facebook.

В докладе расскажем о несложном порядке действий, которые позволят сделать веб-приложение безопаснее.

Расскажем, как искать уязвимости, какие угрозы для пользователей и сервиса они несут.

Подробнее остановимся на самых распространённых: XSS, SQL injection, SSRF, XXE.

Расскажем об инструменте (Burp Suite), который позволит облегчить процесс поиска уязвимостей. И о паре других полезных инструментов.

Доклад рассчитан как на разработчиков — позволит понять суть уязвимостей и почему они возникают, так и для тестировщиков — поможет понять, как эти уязвимости искать. Руководители смогут понять угрозы, которые несут в себе уязвимости, и пересмотреть ценность процесса обеспечения безопасности приложения.

После доклада аудитория получит начальные знания, необходимые для проверки веб-приложения на безопасность.

Андрей Леонов / SEMrush

Последние десять лет занимается поиском уязвимостей в веб-приложениях. Участник многих Bug Bounty-программ. Больше всего любит ошибки бизнес-логики, когда программа работает так, как написано, а не так, как хотел программист. В компании SEMrush работает в команде безопасности, отвечающей за безопасность продукта и рабочей инфраструктуры и многое другое.

Бета-тестирование ВКонтакте

Комментарий Программного комитета:

Уникальный опыт становления тестирования в одной социальной сети. Также вы узнаете, при чём здесь может быть Джеймс Бах.

Рассказ о бета-тестировании ВКонтакте: с чего всё начиналось и при чём тут Джеймс Бах, как мы тестируем масштабные обновления и совершенно новые продукты и какой инструментарий используем.

Поделимся опытом развития сообщества из 12 тысяч тестировщиков, обработки десятков тысяч багрепортов и встраивания этапа бета-тестирования в процесс разработки. Рассмотрим примеры использования нашего подхода и платформы другими командами.

Анастасия Семенюк / ВКонтакте

Родилась в Киеве, училась в ИТМО на кафедре БИТ. Выпускник программы Game|Changers. Работала в Yota Lab, Корус Консалтинг, i-Free и Documatic. В 2014 году присоединилась к команде ВКонтакте в качестве тестировщика. С 2016 года руководит тестированием ВКонтакте и развивает программу бета-тестирования VK Testers.

Testers as their own worst enemies

Комментарий Программного комитета:

Майкл в комментариях не нуждается.

Sometimes, in some organizations, testers complain that they're not respected or acknowledged. Project management views testers as obstacles to timely releases; developers see testers as uninformed and technically ignorant pests. Testers themselves step into professional and interpersonal tar pits by misunderstanding the role of the tester, the mission of testing, and the skills required to get the job done.

In this session, Michael Bolton will talk about several ways in which testers undermine their own reputations and the image of the testing profession. He will provide reframes and antidotes to help testers identify and resolve those problems, and he'll point the way towards developing technical skills, socials skills, and most importantly thinking skills that can build respect for testing and increase testers’ effectiveness.

Michael Bolton / DevelopSense

Tester, consultant, and trainer Michael Bolton is the co-author (with James Bach) of Rapid Software Testing, a course that presents a methodology and mindset for testing software expertly in uncertain conditions and under extreme time pressure. Michael is a leader in the context-driven software testing movement with twenty years of experience testing, developing, managing, and writing about software. Currently, he leads DevelopSense, a Toronto-based consultancy. Prior to DevelopSense, Michael was with Quarterdeck Corporation. Michael's home page is www.developsense.com.