Тонкости подбора респондентов для UX-исследований

Привет! Меня зовут Наталия Спрогис, и я руковожу направлением UX-исследований в Mail.Ru Group. Сегодня я бы хотела поговорить о тех людях, без которых мы не могли бы помогать нашим проектам. Поиск участников UX-исследований — краеугольный камень успеха всего мероприятия. И, судя по количеству вопросов «А как вы ищете респондентов?», которые получают наши исследователи на любой конференции, актуальная тема. Давайте попробуем разобраться: кого нужно звать, сколько их должно быть и как их можно найти. Речь в первую очередь пойдет о рекрутинге для качественных исследований, в частности для юзабилити-тестирований.

Часть 1. Кого?

Кого пригласить на исследование?

Пожалуй, самое главное — это определиться с тем, кто именно нужен для исследования. Это не менее важно, чем составить грамотный сценарий. Если вы покажете свой продукт программисту из соседнего отдела и своей маме, то получите совершенно разные результаты. Причем, хоть мы и предполагаем, что у мамы проблем будет больше, это совершенно не значит, что проблемы окажутся те самые, которые вам действительно нужно исправлять. Потому что и ваша мама, и сосед-программист могут просто быть не вашими пользователями.

Не отталкивайтесь от демографии. Часто, когда мы впервые работаем с каким-нибудь продуктом и обсуждаем с менеджером аудиторию для теста, получаем примерно такой портрет пользователя: «женщины 60%, преимущественно в возрасте 25–35 лет, пользователи Mail.Ru». Несмотря на то что это ценные и полезные данные, это не может быть профилем для исследования. Представьте, что мы решили протестировать дизайн страницы создания письма в веб-почте Mail.Ru. И позвали на тест пользователей, имеющих ящик на Mail.Ru, распределенных по полу и возрасту согласно данным статистики. Скорее всего, окажется, что кто-то из них вообще не пишет письма, а лишь получает рассылки, кто-то пользуется только мобильным клиентом, а у кого-то этот ящик не является основным. Опыт этих людей будет для нас бесполезен. Это не значит, что нужно вообще игнорировать знания о демографии, просто эти критерии не должны быть основными.

Идем от задач исследования. Основным параметром для подбора респондентов должен стать опыт в исследуемом продукте или функционале. По этой характеристике нам могут быть интересны три группы:

• опытный пользователь;
• пользователь с аналогичным опытом (конкурентный продукт или решение задачи каким-то другим способом);
• неопытный пользователь.

Предположим, что мы хотим протестировать новый дизайн онлайн-телепрограммы на проекте Кино Mail.Ru. Нам важно позвать пользователей текущей версии проекта, чтобы удостовериться, что они могут комфортно выполнять привычные сценарии. Также нам могут быть интересны пользователи конкурентных онлайн-телепрограмм. Помимо этого, хорошо взглянуть на людей, которые смотрят программу в газетах и журналах, т. е. не имеют опыта в использовании подобных онлайн-сервисов.

Не просто «опыт в продукте». Для удачного рекрутинга необходимо конкретизировать, что вы понимаете под «пользователем продукта». Чем подробнее вы опишете, какие именно пользователи вам подойдут для этого теста, тем больше у вас шансов получить интересные результаты. В первую очередь подумайте об активности (частоте захода, длительности сессии, использовании разнообразного функционала) и об особенностях использования продукта. Например, в описанном выше примере про тестирование телепрограммы мы подумали о том, что важно позвать людей с разными телеинтересами. Например, у тех, кто регулярно смотрит сериалы, могут быть одни сценарии и требования к интерфейсу: прочитать описание пропущенной серии, найти, когда будет повтор. А у тех, кто смотрит спортивные трансляции, — совершенно другие (трансляции бывают в ночное время, важно не пропустить, когда будет интересная, иметь напоминания).

Аккуратнее с неопытными пользователями. Часто нам важно увидеть, как с нашим продуктом взаимодействуют совершенно неопытные пользователи. Ведь этим мы имитируем момент первого знакомства с проектом новой аудитории. Так вот, «неопытную» аудиторию нужно подбирать тоже вдумчиво. В идеальном варианте это должны быть не просто люди, которые не пользуются текущим продуктом. А люди, у которых потенциально в нем есть потребность. Например, в свое время у нас сорвался тест регистрации в Одноклассниках. Участница отказалась от выполнения заданий. Выяснилось, что она сознательно не регистрируется ни в одной соцсети, так как боится контроля «Большого Брата», и не готова этого делать даже на тесте. Это, конечно же, крайний случай. Но если вы позовете людей, не имеющих вообще никакого интереса в предметной области, скорее всего, их выполнение заданий будет механическим. А значит, они принесут вам сильно меньше знаний. Например, для тестирования сервиса «Разбери ящик» в Почте Mail.Ru, позволяющего автоматически сортировать входящие рассылки, мы сознательно звали людей, страдающих от того, что их почта завалена многочисленными подписками. Пользователи разбирали собственные ящики, а не созданные для них тестовые. Поэтому мы на живых примерах видели, действительно ли сервис решает их проблемы с рассылками, а не просто проверяли механически понятность каждой формы.

Другие частые параметры. То, какие еще требования к участникам исследования у вас будут, всегда зависит от конкретных задач. Помимо опыта и демографии, часто встречается:

• Мобильная платформа. При тестировании мобильных приложений и сайтов, даже если версия имеет единый интерфейс для разных платформ, важно протестировать ее на разных пользователях. Практика показывает, что очень часто проблемы на iOS и Android сильно отличаются, а пользователи этих платформ имеют разные навыки и привычки.
• «Продвинутость». Еще лет пять назад мы использовали критерий «компьютерной грамотности» или «опыта в интернете» при рекрутинге на тестирование сайтов и сервисов. Сейчас средний уровень «опыта в интернете» вырос, если не считать совсем возрастную аудиторию. Поэтому при тестировании веб-сервисов мы этот критерий не учитываем. Но вопрос «продвинутости» актуален теперь для мобильных платформ, и мы часто включаем его в требования. Мы для себя привыкли условно продвинутыми считать тех пользователей, которые «умеют самостоятельно скачивать и устанавливать приложения».
• «Хардкорность». Этот критерий всплывает при тестировании игр. Любой продюсер игры расскажет вам, что существуют казуалы, мидкорщики и хардкорщики. Сложность в том, что четкого определения, кто к какой группе относится, не существует. Поэтому для каждой игры приходится придумывать свои. Как правило, они складываются из часов, проводимых в игре, и предпочтений в аналогичных играх в жанре.

Тесты на друзьях и коллегах

Периодически любой исследователь сталкивается с заказчиком, который говорит: «Да наш продукт абсолютно для всех! Давайте не будем тратиться и протестируем на коллегах». Эта идея кажется очень заманчивой, коллеги или друзья могут помочь вам без вознаграждения, рекрутировать их несложно. В конце концов, среди них даже бывают люди, которые подходят нам по параметрам опыта использования. Такие тесты вполне имеют право на жизнь, особенно как промежуточные, но нужно помнить о следующих опасностях:

• «Я нерепрезентативен». Скорее всего, ваш круг общения достаточно продвинут в технологиях. Когда нам предлагают: «Давайте позовем HR или маркетинг», я напоминаю, что даже не разработчики в нашей компании тоже в какой-то степени гики. Имейте в виду, что это будут достаточно продвинутые пользователи и они могут просто не столкнуться с некоторыми проблемами.
• Перекошенная лояльность. Опыт проведения тестов на сотрудниках нашей компании показывает, что они либо очень лояльны к родному продукту (рассуждая примерно так: «Ой, ну я знаю ребят из команды, они же очень старались. А это у них не работает, потому что это тяжело реализовать, в нашем проекте с этим тоже мучились»), либо, наоборот, оказываются излишне требовательны и придирчивы, ожидая от своих коллег самого лучшего. Похожая ситуация возникает с друзьями. Чтобы не обидеть нас, они могут стараться закрывать глаза на какие-то недостатки продукта. Или, наоборот, захотят помочь нам найти больше проблем и станут придираться ко всему подряд. Любой хороший UX-специалист, конечно же, помнит, что нужно смотреть на поведение, а не слушать слова пользователя. Но эти отзывы могут создать ложное впечатление у команды проекта, наблюдающей за ходом тестирования. И вам придется потратить много усилий, чтобы объяснить им, что излишне позитивное или негативное впечатление на тесте еще не значит такую же реакцию реальной целевой аудитории.
• Эксперты. Брать в качестве респондентов коллег и друзей допустимо, но избегайте опасности позвать экспертов в области исследуемого продукта. Люди не умеют абстрагироваться от своего опыта и знаний и взглянуть на продукт исключительно как пользователи. Например, если ваше мобильное приложение будет тестировать разработчик, пусть и из другой команды, он станет обращать внимание на соблюдение гайдлайнов, скорость загрузки и прочие технические особенности. Проблема не только в разработчиках: маркетолог будет смотреть на баннерные места, продюсер игры будет профессионально сравнивать с другими играми в жанре и прочее. Например, один раз веб-разработчик у нас на тесте сайта игры долго рассуждал о том, что «вот этот параллакс-скролл очень портит пользовательский экспириенс». В результате вместо пользовательского опыта у вас получится экспертная оценка. Такие оценки тоже нужны и полезны, но не надо путать их с пользовательским тестированием. Тем более что эксперты есть и у вас в команде.

Несмотря на это, лучше звать коллег и друзей, чем не тестировать вообще. Такие тесты обычно быстры и дешевы, что, несомненно, является их плюсом. Главное — старайтесь подобрать людей, максимально приближенных к аудитории продукта, а также не обращайте слишком много внимания на слова и оценки, концентрируйтесь на проблемах и поведении (что, в принципе, актуально для любого теста).

Часть 2. Сколько?

Вопрос, который тревожит многих: сколько нужно брать респондентов, чтобы результатам исследования можно было верить?

«Just a handful of users»

Гуру юзабилити Якоб Нильсен более 20 лет назад начал популяризировать идею, что для любого юзабилити-теста достаточно пяти человек (Jakob Nielsen and Thomas Landauer, 1993). Это утверждение прочно засело во многих головах. Кто-то начал всегда брать по пять человек, независимо от задачи. Другие стали скептически воспринимать все юзабилити-исследования, ведь они основываются на изучении такой маленькой выборки.

Давайте разберемся, откуда взялось волшебное число пять. Как показывает практика, после первых нескольких участников юзабилити-тестирования количество новых обнаруженных проблем снижается. Нильсен постулирует, что выборка из пяти человек позволяет обнаружить 85% проблем интерфейса (Why You Only Need to Test with 5 Users). То есть брать больше людей может быть просто нецелесообразно.

На самом деле те 85%, о которых говорит Нильсен, относятся к наиболее серьезным и частотным проблемам (число справедливо для проблем, затрагивающих 31% аудитории). Если мы возьмем любой интерфейс, то в нем, скорее всего, кроется ряд частотных проблем, с которыми сталкивается много пользователей (например, проблемы при регистрации в игре), а также разнообразные менее частотные, но, возможно, достаточно критичные проблемы. Например, проблемы, с которыми сталкивается 15% аудитории, на пяти людях будут обнаружены уже с вероятностью 50%. Увеличение размера выборки повысит шансы найти менее частотные проблемы. Джеф Сауро, активно занимающийся вопросами статистической значимости в юзабилити, подробно разбирает этот вопрос в своей статье Why you only need to test with five users (explained).

Несмотря на популярность утверждения о пяти респондентах, многие исследователи предпочитают брать больше участников исследования. Джеф Сауро в 2012 году провел опрос около сотни читателей своего блога. Он попытался выяснить, сколько респондентов в реальности приглашают на исследования в различных компаниях. Опрос показал, что более 81% исследований базируются на выборках больше, чем пять человек (медиана 10) (How many users do people actually test?).

От чего зависит количество людей

Когда пяти человек достаточно. На небольших выборках хорошо тестировать прототипы и концепты — когда важно найти наиболее критичные проблемы, а объем функционала, который можно включить в тест, невелик. Правда, нужно помнить, что после внедрения потребуются дополнительные тесты, так как при тестировании прототипов выявляются только самые очевидные проблемы. Также выборки по три-пять человек хорошо работают в итеративных тестах: когда мы тестируем функционал, отправляем на доработку, а потом тестируем снова. Это вообще очень эффективный метод аудита для систем, у которых есть постоянная команда исследователей. Так в каждой итерации мы имеем возможность посмотреть, исправлены ли ранее найденные проблемы, и найти что-то новое.

Когда нужно больше людей.

• Разнообразие аудитории. В пять человек не включить разнообразия по опыту, предпочтениям, паттернам взаимодействия и даже демографии аудитории. А часто именно это дает нам больше знаний. Чтобы понять, сколько людей вам требуется, нужно сначала расписать все ваши требования к аудитории, а потом взять в каждой группе хотя бы по три человека. Самый простой пример: если мы хотим протестировать мобильное приложение, то нам нужны две группы по разным платформам (iOS и Android), а также две группы по опыту (новички и пользователи аналогичных приложений). Это уже дает нам 12 человек.
• Объем тестируемого функционала. В рамках одного теста можно пройти ограниченное количество сценариев. Хороший тест длится обычно около часа. Можно мучить человека до двух часов, но это утомительно и малоэффективно. Поэтому если бы нам пришла задача «протестировать весь интерфейс ВКонтакте», то мы, очевидно, разбили бы проект на несколько «подтестов», так как нужно было бы смотреть и функционал ленты, и фотографий, и групп, и многое другое. Правильным решением стало бы включить во все тесты наиболее критичные сценарии, а остальные пустить в ротацию. Каждый из сценариев в ротации должны выполнить хотя бы три человека.
• Вы редко проводите тесты. Если вы выпускаете продукт и обращаетесь во внешнее агентство за разовым итоговым юзабилити-тестированием, не скупитесь на количество респондентов. Возьмите хотя бы десять человек. Это увеличит не только бюджет, но и вероятность увидеть больше проблем. Маленькие выборки хороши для частых итеративных тестов. Если у вас есть только один шанс, используйте его правильно.
• Больше знаний. Зачастую исследование ставит задачи не только найти недочеты в интерфейсе, но и собрать дополнительные данные о целевой аудитории: паттерны взаимодействия, контекст использования продукта и прочее. Для этих целей хорошо иметь выборку с разнообразным бэкграундом. Что также приводит нас к большему количеству людей.

Не переборщите. Приведя много аргументов в пользу увеличения выборки, хочу предостеречь от того, чтобы вы не ударились в обратную крайность. Помните, что мы говорим о качественном лабораторном исследовании. Редко для подобных проектов реально требуется больше 24 человек. В среднем 10–12 людей бывает достаточно, чтобы покрыть основные группы аудитории и найти большую часть проблем. Например, параметры демографии редко когда служат поводом сильно увеличить выборку.

Мифы и страхи

«Несерьезные исследования». Хотя мы поняли, что не всегда достаточно пяти респондентов, UX-исследования продолжают быть преимущественно качественными. Часто результаты исследования встречают скептицизм со стороны внешних людей. Ведь дорогостоящие изменения продукта предлагается делать на основании разговора с десятком человек. На этот счет мне очень нравится аргумент, вычитанный в одной книге и звучащий примерно так: «Если вы спросите десять человек, что стоит изменить в дизайне этой двери, то, скорее всего, получите десять разных ответов. Если вы попросите десять человек выйти через эту дверь, то увидите, понятно ли по ней, нужно ее тянуть или толкать». Дело в том, что UX-исследования изучают не мнения людей, а их поведение. Если нам важно узнать мнения, то десятком пользователей не обойтись, ведь «сколько людей, столько и мнений». Если же мы хотим найти проблемы взаимодействия с продуктом, то небольшое количество людей позволяет выявить поведенческие проблемы и особенности, характерные для массы пользователей.

«А если ваш респондент — дурак?» Когда пользователь с трудом справляется с какой-то задачей или показывает неграмотность в каком-то аспекте, у команды, наблюдающей за тестом, часто возникает вопрос: «А может, это именно он такой идиот, а остальные нормальные?» Ответ прост: все моменты спорного поведения нужно проверять на других людях. Когда оказывается, что «тупит» не один, а много людей, сомнения исчезают. Так, на одном из тестов для команды сервиса постинга ссылок в соцсети стало шоком, что многие пользователи не умеют копировать ссылки из браузера. Чтобы поделиться статьей в соцсети, участники теста пытались копировать полный текст статьи, делились скриншотами или просто копировали название, говоря: «Ну, друг потом сам в интернете найдет». Первый подобный человек еще вызвал сомнения: возможно, такая неопытность характерна именно для него. Но после пятого пользователя все сомнения пропали.

Часть 3. Как?

Способы поиска

Мы поняли, сколько и каких пользователей мы хотим пригласить на наше исследование. Но как же мы будем их искать? Какие есть варианты и что в них особенного?

Специальные рекрутинговые агентства

Этот способ удобнее всего для самих исследователей, так как снимает с них массу головной боли. Однако и тут есть свои подводные камни. Во-первых, на него придется выбивать довольно большой бюджет, ведь работу агентства надо оплачивать. Кроме того, вы точно столкнетесь с проблемой «ходоков». Рынок маркетинговых исследований существует давно. И в этой отрасли сформировался целый пласт людей, которые пытаются зарабатывать на жизнь хождением на опросы, фокус-группы и т. д. Для этих людей самое главное — это получить вознаграждение. Часто они врут о своем опыте, чтобы подстроиться под квоты. А на самом тесте пытаются вести себя так, чтобы понравиться вам (и тогда вы позовете их еще раз). В результате они могут начать усиленно хвалить или усиленно ругать ваш продукт, ведь целей исследования они не понимают. Не так уж важно, каким образом они пытаются подстроить свое поведение. Главное, что оно становится неестественным. Способам бороться с этими людьми можно посвятить отдельную статью. Вот несколько советов:

• Закрытый скрининг. Всегда согласовывайте с агентством набор вопросов, которые будут задаваться потенциальным участникам исследования. Например, если вам нужны пользователи Одноклассников, вопрос должен звучать не «Пользуетесь ли вы Одноклассниками?», а «Какими соцсетями вы пользуетесь?».
• Проверяйте ваше агентство. Даже хорошо себя зарекомендовавшие агентства иногда сотрудничают с непрофессиональными полевыми рекрутерами. Поэтому периодически стоит проверять, не появилось ли объявление о вашем исследовании с открытыми требованиями на специальных «опросных сайтах».
• Проверяйте данные респондентов. По максимуму проверяйте потенциальных респондентов до теста. Если это пользователи вашего продукта, то просите заранее их аккаунт и смотрите, действительно ли их опыт соответствует вашим требованиям. Мы всегда проверяем активность пользователей нашей почты, игр или соцсетей. К нам на тестирование Одноклассников, например, пытались проникнуть люди, зарегистрировавшие аккаунт накануне.
• Ведите базу респондентов. По ней вы сможете проверять, не пытаются ли вам привести снова того же самого человека. В отрасли есть правило шести месяцев. Если человек ходит на опросы не чаще двух раз в год, то его не считают «ходоком».
• Тренируйте зрительную память. Один человек пытался к нам прорваться три раза за несколько месяцев, причем под разными фамилиями. Но мы просто помнили его в лицо и быстро нашли записи с его тестами.

Панели

Если вы делаете онлайн-исследование, вы можете обратиться к рекрутингу через панели. В этих сервисах есть огромный пул зарегистрированных пользователей, которые регулярно отвечают на онлайн-опросы или проходят онлайн-тесты. Ваша задача — составить скринирующий опросник, по которому будут набраны участники тестирования. Так же как и с агентством, важно хорошо составить набор этих вопросов, ведь участники панели тоже могут пытаться подстроиться под требования. Иногда полезно даже включать заведомо ложные варианты ответов (например, несуществующий продукт) и отсекать тех, кто его выбрал. Помните, что для участников панели ваше исследование — это почти работа. Ведь они проходят по несколько опросов в день. Среди этих пользователей также встречаются «халтурщики», которые пытаются «прокликать» ваш опрос и получить вознаграждение. Их можно вычислить по слишком высокой скорости выполнения заданий, отсутствию ответов на открытые вопросы и т. д. Несмотря на эти особенности, панели позволяют провести рекрутинг быстро, получить большую базу ответов и географический охват.

Самостоятельный рекрутинг

Вы можете рекрутировать пользователей самостоятельно. Важно понимать, что это трудоемкая задача. Даже когда вы найдете людей, готовых прийти, много сил и времени уйдет на обзвон для уточнения критериев, согласование удобного времени, объяснения и напоминания и т. д.

• Друзья и коллеги. Кинуть клич в Facebook или на корпоративном портале кажется одним из самых простых вариантов. Но мы уже обсуждали опасности тестирования на знакомых людях. Во-первых, в вашем окружении, скорее всего, окажется достаточно продвинутая аудитория. Во-вторых, им будет сложно открыто высказывать вам свое мнение. Тем не менее это всегда лучше, чем ничего.
• Группа в соцсети / форум проекта. Это лояльная аудитория, заинтересованная в улучшении продукта. Их часто легче пригласить, чем других ваших пользователей, и они даже могут быть готовы поучаствовать в исследовании бесплатно. Но надо понимать, что это будут достаточно продвинутые пользователи вашего продукта. Скорее всего, они наиболее требовательны из всех и могут просить вас о функционале, который не нужен большинству. Кроме того, здесь легче всего поймать «фриков». Целесообразность рекрутинга через форум/группу зависит еще и от проекта. Например, для игр форум — хорошее место для рекрутинга активных лояльных игроков. А вот в проекте Дети Mail.Ru мы столкнулись с тем, что пользователи форума мало проводят времени на основном сайте и могут нам помочь только в тестировании самого форума.
• Почтовая рассылка. Вы можете отправить своим пользователям письмо — приглашение на участие в исследовании. Этот вариант хорош тем, что рассылку можно таргетировать по определенным критериям (активность в проекте, география и прочее). Постарайтесь сделать текст письма достаточно личным и неформальным, это увеличит количество откликов. Обычно мы в письме даем ссылку на онлайн-опрос, проверяющий, подходит ли человек по критериям, а в конце опроса предлагаем оставить контактные данные. Но будьте готовы к тому, что отклик будет небольшой (процент зависит от лояльности аудитории, но больше, чем на 2–3%, я бы не рассчитывала). Кроме того, даже оставившие телефон люди могут в итоге не согласиться участвовать. А согласившись, испугаться и не прийти на интервью. В первый раз мы сильно удивились, когда явка при такой форме рекрутинга составила порядка 50% из назначенных интервью.
• Баннер/форма на сайте. Также хороший вариант для рекрутинга. Баннер, как и ссылка в письме, должен вести на онлайн-опросник, где вы проверяете критерии подбора и собираете контактную информацию. Здорово, если вы сможете также показывать баннер только нужной для исследования аудитории: например, в интересующем вас разделе сайта или после определенных действий пользователя.
• Группы по интересам. В случае, когда у вас еще нет своего продукта или вам интересны пользователи конкурентов, вы можете пробовать рекрутировать респондентов в тематических сообществах и группах (с согласия их администрации). Например, для тестирования некоторых игр мы публиковали объявления на новостном проекте Игры@Mail.Ru или в группе C-c-combo Breaker ВКонтакте.
• «Снежный ком». Этим методом ищут респондентов полевые рекрутеры агентств. Они спрашивают у людей, которых уже приглашали на исследования, нет ли у них знакомых, которые согласились бы также поучаствовать в подобном мероприятии. Для того чтобы этот способ работал как основной метод поиска, нужно иметь достаточно большую базу контактов и потратить очень много времени. Однако никто не мешает вам спрашивать людей, которых вы уже нашли, нет ли у них подходящих знакомых, и рекрутировать так дополнительных респондентов. Главное, удостоверьтесь, что они не будут друг другу рассказывать о том, что происходило во время исследования, чтобы не испортить вам результаты. Также знакомых людей плохо звать на одно исследование, если вы не просто тестируете продукт, а собираете данные о разных паттернах поведения. Например, учащиеся одной студенческой группы, скорее всего, расскажут вам примерно одно и то же о том, как они пользуются электронной почтой по учебе.
• Сайты по поиску подработки. На сайтах вроде YouDo или Workzilla легко можно найти людей, ищущих разовую подработку. Однако я бы рекомендовала использовать этот вид рекрутинга, только если не сработают остальные. На этих сайтах встречается много людей, которые зарабатывают тем, что ходят на опросы, и с большой долей вероятности попытаются вам соврать.

Полевой рекрутинг

Для простых и быстрых тестов, занимающих не более 15 минут, можно проводить рекрутинг и исследования сразу же в местах большого скопления людей. Это могут быть кафе или торговые центры. Такой вариант подходит, если у вас достаточно широкая аудитория. Например, в торговом центре мы выясняли у молодежи ассоциации с разными вариантами названия для одного проекта. Если продукт позволяет, то можно искать места скопления именно вашей целевой аудитории. Например, небольшие игровые исследования мы проводили в компьютерных клубах. Чтобы слышать меньше отказов, приготовьте небольшое вознаграждение (деньги или сувенир).

Организационные моменты

Каким бы образом вы ни искали респондентов, есть ряд организационных моментов, о которых надо помнить. Порой даже мелочи могут сорвать интервью.

• Предупредить о том, что будут делать. Как правило, респонденты очень слабо представляют, что на самом деле будет происходить на тестировании. Важно, чтобы человек был готов к тому, что его будут записывать на видео, знал, сколько времени займет мероприятие. Обязательно предупреждайте о любых документах, которые придется подписать (согласие на обработку персональных данных, соглашение о неразглашении). У нас был случай, когда женщина ушла с теста, так как была не готова подписать согласие. Также предупреждайте, если будет использоваться какое-либо нестандартное оборудование, например айтрекинг или психофизиологические датчики.
• Дополнительные проверки. Как уже говорилось в блоке про рекрутинг при помощи внешнего агентства, данные респондентов лучше проверять. Эта рекомендация применима при любом виде рекрутинга. Старайтесь максимально проверить, правду ли говорит этот человек о своем опыте, до теста. Любые проверки, которые вы можете сделать заранее (дата регистрации, активность), лучше сделать. Ведь, как мы знаем, «everybody lies».
• Опоздания и неявки. Будьте готовы к тому, что не все люди обязательные. Если рекрутинг ведет внешнее агентство, то эту головную боль они берут на себя. Если же вы собственноручно приглашаете людей, то с ними нужно обязательно созвониться накануне и в день теста, чтобы удостовериться, что все в силе.
• «Осторожно, дети!» Если участники вашего теста младше 18 лет, вам необходимо письменное согласие их родителей на участие в тестировании. Согласовывать детали участия детей в исследовании всегда надо именно с родителями. Мы сталкивались с ситуациями, когда, придя на этнографическое интервью домой к подростку, обнаруживали, что родители не в курсе и против.
• Попросить взять очки. Особенно это критично для айтрекинг-исследований. Многие люди пользуются очками только дома или на работе, а на исследование приходят без них. Человека, который носом упирается в экран, чтобы что-то рассмотреть, будет невозможно откалибровать для айтрекинга. Да и видеозапись лица респондента может получиться неудачной.
• Смартфоны/планшеты. Мобильные сайты и приложения лучше всего тестировать на устройствах пользователей. Акцентируйте внимание на том, чтобы люди брали свои телефоны. К нам часто пытались приходить с телефоном, например, мужа или друга. Кроме того, просите людей взять с собой зарядное устройство, подходящее для их техники. А также на всякий случай уточняйте, точно ли у них работает Wi-Fi.

Заключение

Поиск респондентов для исследования — это всегда чуть ли не самая хлопотная часть всего мероприятия. Но это та часть, где точно нельзя «халтурить», и тот самый случай, где лучше меньше, да лучше. Совершенно нормально, когда исследователь стремится скинуть с себя заботы о договоренностях по времени и напоминания респондентам на секретаря или агентство. Но никогда не пренебрегайте этапом планирования того, кто вам нужен, и проверкой респондентов. И тогда ваши исследования принесут команде проекта новые знания.

Автор: Mail.Ru Group

Источник