Привет! Это Наталия Спрогис, руководитель направления UX-исследований в Mail.Ru Group. Я продолжаю цикл статей о тонкостях организации и проведения исследований. Сегодня мы поговорим о том, как должен вести себя модератор юзабилити-тестирования. Модератор — это человек, который взаимодействует с респондентом: встречает его, проводит инструктаж и вводное интервью, настраивает оборудование для записи видео, предлагает задания текста и задаёт уточняющие и итоговые вопросы. Казалось бы, если есть хороший сценарий (о том, как его составить, можно почитать в посте Планирование юзабилити-тестирования. Часть 2), достаточно чётко ему следовать и ничего не перепутать. Однако модератор может вольно или невольно очень сильно повлиять на респондента, а в итоге и на результаты тестирования. Поэтому важно понимать, как вести себя на тесте, когда и какие вопросы задавать и как быть со сложными респондентами.
Заповеди хорошего модератора
«Заткнись и наблюдай». Перед модератором юзабилити-тестирования стоят две важные задачи:
- Обеспечить, чтобы респондент выполнил тестирование в условиях, наиболее приближенных к естественным.
- Получить максимум информации о причинах действий респондента и о его эмоциях, вызванных работой с продуктом.
Часто модераторы зацикливаются именно на второй задаче, бомбардируя пользователя бесконечными «почему?», «зачем?», «как?» и т. д. Многие статьи о модерировании посвящены тому, как правильно задавать вопросы. Это важный навык, и мы о нём ещё обязательно поговорим. Но на самом деле главное для модератора — научиться правильно молчать. Ведь в реальной ситуации респондент будет пользоваться продуктом самостоятельно. Задавая слишком много вопросов, вы смещаете фокус внимания человека с использования продукта на его обсуждение. А наиболее ценны наблюдения за деятельностью респондента. Вопрос может сбить его с мысли и отвлечь от задачи. Возможно, вернувшись к задаче, участник тестирования начнёт действовать по-другому. Поэтому в идеале задавайте вопросы после задания (в некоторых случаях — после теста). Или хотя бы дождитесь, когда респондент, выполняя задание, дойдёт до логической точки.
«Не навреди». Врачебная заповедь актуальна и в юзабилити-тестировании. Очень легко вопросом, словом или даже жестом повлиять на результаты тестирования и внести в них предвзятость. А главное, что эта ошибка может быть не видна ни модератору, ни наблюдателям. Модератор во время теста должен оставаться абсолютно нейтральным, и это не так уж просто. Мотивируйте респондента говорить больше, но не влияйте на то, что он говорит. Я сталкивалась с ситуацией, когда модератор, уверенный, что в определённом месте проекта есть проблема, пытался обязательно найти её у каждого респондента, даже у тех, кто с ней не столкнулся. Выводил обсуждение на нелогичность этого момента, подталкивая пользователей признать: да, проблема существует. Грань довольно тонка. Если у вас есть гипотеза, обязательно проверьте её на всех респондентах, давая им соответствующие задания или задавая вопросы на понимание. Но если респондент в своей работе не столкнулся с проблемой, указание на неё и её обсуждение вводит предвзятость.
Респонденты могут считывать даже невербальные знаки. Например, если вы хорошо подготовились к тестированию, то сценарий наверняка содержит набор гипотез. В некоторых местах вы предвидите и ожидаете проблемы. Или вы можете сопереживать команде проекта и быть лояльными к исследуемому продукту. А люди любят вести себя социально желательно. Участники тестирования могут почувствовать, что вам неприятно, когда они ругают проект. Или что вы воодушевляетесь, когда они рассказывают о какой-то определённой проблеме.
Следите не только за словами, но и за жестами, позой. Даже заметки во время теста лучше делать всё время, а не только в интересные моменты, чтобы не показывать респонденту, какие его слова или действия действительно важны. Лишнее потом просто не учитывайте.
«Не отвечай на вопросы». Очень часто вы будете сталкиваться с вопросами респондентов. Например, «А мне сейчас нужно регистрироваться?», «Я правильно действую?», «А что делать теперь?». Отвечать на них не нужно. Иначе респондент и в следующей сложной ситуации будет полагаться на вас и не попробует справиться сам. Реагировать лучше так:
- «А как вы сами думаете?»
- «Давайте попробуем разобраться».
- «А что бы вы сделали в реальной жизни, если бы меня не было рядом?»
Иногда, если вопросы вызваны не совсем стандартным поведением системы, я даже делаю вид, будто сама не понимаю, что происходит, чтобы мотивировать респондента взять поиски в свои руки. Но это не значит, что не нужно помогать человеку, который просто не знает, как выполнять составленное вами же задание.
«Не объясняй работу системы». Иногда, особенно если произошёл сбой, модератор стремится успокоить респондента и объяснить, как и почему система повела себя не так. Но если вы объясните поведение системы участнику, вы можете повлиять на образ продукта в его голове или банально дадите подсказку, невозможную в реальной, а не тестовой ситуации.
«Не извиняйся за продукт». Респондент мучается с интерфейсом. Модератор наблюдает. У него появляется желание извиниться за то, что дизайнеры что-то не додумали. Не делайте так: вы потеряете нейтральность и станете «адвокатом продукта». И пользователю будет тяжелее высказывать вам новые комментарии.
«Show must go on!» Как бы хорошо вы ни подготовились к тесту, всегда есть вероятность, что
что-то пойдёт не так. Перестанет корректно работать ай-трекер, программисты не успеют ко времени теста привести систему в рабочее состояние, в здании начнётся пожарная тревога (и такое случалось в моей практике) и пр. Поэтому будьте готовы использовать план Б. Не работает ай-трекер — запишем видео без него. Не успевает на тест важный заказчик — наладим ему трансляцию через мессенджер. У респондента не устанавливается приложение на телефон — дадим ему наш тестовый (хотя это может стать поводом поменять участника, если критично, чтобы устройство было знакомо). Кроме этого, обеспечьте респонденту комфортные условия для ожидания, если начало теста придётся отложить. Предложите ему обновить чай или кофе. Расскажите, как включить гостевой Wi-Fi, если это возможно. У нас в лаборатории для таких ситуаций лежит стопка журналов. В случае с задержкой поставьте себе дедлайн для решения проблемы, после которого лучше отпустить респондента с частью вознаграждения и не продолжать тратить время. И главное, не делайте из этого трагедию. Форс-мажоры случаются, что совершенно нормально. В крайнем случае тест просто можно перенести.
«Следи за эмоциями». Этот навык приходит со временем, но сначала очень тяжело не реагировать эмоционально на то, что происходит на тесте. Действия и слова респондента могут показаться вам смешными. Иногда встречаются откровенно неприятные и раздражающие люди. Какие бы эмоции у вас ни вызывал участник теста, всегда оставайтесь отстраненно доброжелательными. Также проследите за хорошей звукоизоляцией. Взрывы хохота и бурные обсуждения в наблюдательной допустимы, только если их не слышат респонденты.
«Наладь контакт». Пункт кажется очевидным. Ведь при любой работе с людьми мы должны находить с ними общий язык. Однако часто, особенно когда это не первый день тестирования и не первый респондент за сегодня, модератор, сам того не замечая, превращается в машину. И мы начинаем бубнить заученный приветственный текст и стараться поскорее избавиться от респондента. Всё это очень видно и чувствуется, а главное, может повлиять на то, как респондент будет работать с продуктом, станет ли охотно комментировать свои действия или так же, как вы, подойдёт к тесту формально. Улыбнитесь человеку, посмотрите ему в глаза и «проживите» текст приветствия. Подстройте слова, скорость, тон под собеседника. Даже если далее на время всего тестирования вы оставите респондента одного, постарайтесь сформировать у него позитивные ожидания от самого мероприятия (не от продукта!).
«Будьте готовы попрощаться с неподходящим человеком». К сожалению, вы наверняка рано или поздно столкнётесь с тем, что респондент вам не подходит. Причиной может быть досадная ошибка рекрутинга, недопонимание, а иногда и банальная ложь ради вознаграждения. К нам приходили люди, которые не пользовались нужными продуктами, но зарегистрировались в них вчера. Периодически приносят чужой телефон с нужным набором приложений. Будьте готовы попрощаться с человеком, если вы поймёте, что он не соответствует требованиям тестирования. Обычно после ощущения «что-то не то» мы коллегиально с командой проекта решаем, даст ли нам что-то этот тест. Главное — примите решение в самом начале. Так вы не потратите время — ни своё, ни респондента. Поэтому я советую проверять рекрутинг во время вводного интервью.
Модератору выпадает не самая приятная роль. Если вы решили прервать тестирование, помните: то, как вы попрощаетесь с претендентом, тоже важно. Постарайтесь сделать так, чтобы у него не осталось неприятных впечатлений. Ведь вы для него — лицо компании. Кроме того, человек может быть и не виноват в ошибке: возможно, это вина рекрутера. А потенциальный респондент потратил время и приехал к вам. В большинстве случаев, даже если я подозреваю человека во лжи, я говорю подобную фразу: «К сожалению, по нашему разговору я вижу, что ваш профиль не вполне соответствует целям нашего тестирования. Поэтому я вынуждена его закончить». В некоторых случаях (особенно если вы всё-таки начали тестирование) разумно выдать респонденту вознаграждение, частично или даже целиком.
Особенно аккуратными будьте с лояльными пользователями продукта. Их обычно находят через сообщества и форумы проекта, и мотивация прийти у них не финансовая. Ошибку в рекрутинге тут допустил, скорее всего, тот, кто нашёл человека. Эти люди воодушевлены возможностью поучаствовать в судьбе любимого проекта. Если вы видите, что претендент всё же не вполне соответствует целям тестирования, постарайтесь его не расстроить. Лучше проведите с ним мини-тест, дайте ему немного попользоваться продуктом. Пусть он почувствует, что не зря пришёл и тоже смог «приобщиться» к разработке любимого проекта.
Как задавать вопросы
Как уже упоминалось выше, в отличие от глубинных интервью, основанных на разговоре с респондентом, главная задача юзабилити-тестирования — наблюдение за деятельностью. Поэтому (помимо вводного и итогового интервью) в основной части тестирования модератор больше предоставляет респонденту возможность действовать, мотивируя его делиться впечатлениями. Тем не менее, чтобы вникнуть в поведение человека, прояснить его непонятные комментарии, узнать отношение к тем или иным вещам, модератору обязательно придётся задавать вопросы. И их роль нельзя недооценивать. Какими словами, с какой интонацией и когда именно вы зададите вопрос — всё это может повлиять на поведение респондента. А значит, и на итоговые результаты теста.
Когда задавать вопросы
Вопросы во время основной части тестирования чаще всего необходимы, если требуется следующее:
- Уточнение: прояснить/дополнить комментарий респондента. Вы просите либо пояснить мысль, либо раскрыть её полнее. Например, вы слышите: «Вот это непонятно». Уточните: «Что именно непонятно? Какого поведения системы вы ожидали?»
- Объяснение: выяснить причины поведения респондента. Например, вы видите, что он отправил подарок другу в «Одноклассниках» и сразу идёт на страницу друга. Узнайте, зачем. Возможно, респондент проверяет, появился ли там подарок, и не понял, что это происходит только после одобрения получателя.
- Отношение: узнать отношение к событию/поведению системы или пояснить свой оценочный комментарий. Однажды наш респондент охарактеризовал сюжет игры так: «классическая лёгкая наркомания». Модератору тут же пришлось уточнить: «А лёгкая наркомания — это хорошо или плохо?» (спасибо Екатерине Акатовой за пример).
- Бэкграунд: собрать основу для составления заданий при гибком сценарии или собрать контекст для описанной респондентом проблемы. Если вы используете в тестировании задания из опыта респондента, то перед каждым заданием выясняйте у участника подробности. Например: «Вспомните, как вы покупали авиабилеты в последний раз. Куда летели? Какими критериями пользовались для выбора билетов? Что насчёт ограничений (пересадки, стоимость, время в полёте, авиакомпания)? А теперь давайте подберём авиабилет по этим же критериям». Иногда комментарии о бэкграунде нужны, чтобы вытащить из респондента его реальную потребность. Например, человек жалуется, что не хватает какого-то функционала. Попросите его привести примеры из жизни, когда ему требовался подобный набор функций.
Итак, суть и формулировка вопроса важны. А ещё важно его вовремя задать. Как я уже говорила в заповеди «Заткнись и наблюдай», если вы спросите что-то у респондента, выполняющего задание, вы банально собьёте его с мысли. Разговор может повлиять на респондента, что нежелательно. Кроме того, если при работе с продуктом пользователь получает от модератора слишком много вопросов, есть вероятность, что он переключится на обсуждение продукта и перестанет что-то делать. Поэтому старайтесь копить вопросы до завершения задания или хотя бы его блока. Делайте себе пометки: так вы не забудете, что вызвало ваш интерес. Уточняющие вопросы не помешают, если пользователь сам комментирует что-то или мыслит вслух. В таком случае вы просто мотивируете респондента немного подробнее высказать его мысль. Но и с этим аккуратнее: если начнётся подробное обсуждение, оно отвлечёт от текущей задачи.
Какие бывают вопросы
Открытые и закрытые вопросы. Первое правило модератора — задавай открытые вопросы, т. е. требующие развёрнутого ответа. Вашими любимыми вопросами должны стать «почему?», «зачем?», «что вы думаете об этом?» и т. д. В противовес им закрытые вопросы предполагают однозначный ответ («да» или «нет»). Они плохи тем, что пользователи склонны скорее соглашаться, отвечать «да». Это происходит от нежелания спорить с модератором и ранить его чувства. Кроме того, закрытые вопросы не могут принести новых знаний: всё, что можно узнать, заложено в самом вопросе.
Нет ничего хуже, чем спросить у респондента после задания: «Вам было удобно?» С большой долей вероятности вы получите в основном утвердительные ответы независимо от того, как всё происходило на самом деле. Если нужна оценка события или поведения системы, допустимо спросить: «Это хорошо или плохо? Просто или сложно? Быстро или медленно?». Так вы зададите нужную шкалу оценки, оставаясь нейтральным.
Предвзятые вопросы. Не стоит интересоваться после теста: «Как вы относитесь к тому, что новый дизайн более современный и технологичный?» Вроде бы вопрос открытый. Но в его формулировке заложено, что пользователь должен воспринимать дизайн как современный и технологичный. А это может не совпадать с его мнением. Старайтесь избегать оценок, сделанных за респондента. Как выяснить, считает ли пользователь новую версию технологичнее или современнее? Есть разные способы. Для начала попросите его самого описать версию несколькими прилагательными, которые придут в голову. Потом можно дать список прилагательных (положительных и отрицательных), содержащих ожидаемые вами характеристики, и посмотреть, выберет ли их респондент. Набор прилагательных можно взять из Microsoft Desirability Toolkit.
Наводящие вопросы. Некоторые вопросы содержат подсказку. Например, вопрос «Как вы думаете, можно ли сделать на сайте вот это?» по сути своей наводящий. Ведь очевидно: зачем спрашивать о том, чего нельзя сделать? Иногда вопрос может навести пользователя на мысли о продукте, которые ему ещё не приходили в голову. Возьмём в качестве примера цепочки писем (треды) в Почте Mail.Ru. Во время тестирования мы знали, что многие пользователи никогда не сталкивались с подобным. Вопросы вроде «А от кого вот это письмо ниже? А по какому принципу они сгруппированы?» наводили бы пользователя на мысли о том, как всё это устроено. Поэтому сначала мы давали респондентам самим разобраться с принципом работы и задавали только общие вопросы: «Что это такое? Как это работает? Что произошло с вашими письмами?» И только потом углублялись в детали. Мы понимали, что каждый вопрос не только позволяет узнать, что понял респондент, но и подсказывает ему, в какую сторону стоит думать.
Уточняющие вопросы. Вам часто придётся просить респондента прояснить или дополнить его мысль. Вы можете повторять часть фразы и просить респондента пояснить сказанное: «— Это было непонятно. – Что именно непонятно?» Несколько способов задавать уточняющие вопросы вы найдёте в статье на сайте компании Nielsen Norman Group. В частности, там описан любопытный метод Коломбо: когда модератор специально использует неидеальные формулировки и незаконченные фразы, чтобы мотивировать респондента раскрыть тему подробнее.
Иногда респонденты противоречат себе или просто говорят не очень чётко. Один из любимых приёмов наших модераторов — фраза «Правильно ли я понимаю, что...?» Так вы формулируете, что поняли из слов респондента, и проверяете, соответствует ли это действительности.
Вопросы о будущем. Очень часто нам хочется спросить у респондента: «Станете ли вы пользоваться этой возможностью?», «Что вы будете делать в такой ситуации?» и т. п. К сожалению, верить ответам на такие вопросы не стоит. И не потому, что люди хотят вас обмануть. Просто они плохо оценивают своё потенциальное поведение. Тест может показать, что все пользователи рады новому функционалу и горят желанием его немедленно применить, а вот статистика внедрения будет далеко не такой радужной. Поэтому интересуйтесь прошлым опытом. Если речь идёт о новом функционале, спросите: «Были ли в вашей жизни ситуации, когда подобное вам могло пригодиться? Какие?», «Какие проблемы это помогло бы решить? Вспомните, когда вы в последний раз сталкивались с подобной проблемой». Просите привести конкретные примеры. Респонденту может казаться, что функционал нужный, но выяснится, что лично ему такое раньше никогда не требовалось.
Вопросы от заказчика. При наблюдении за тестом у команды проекта иногда появляются дополнительные вопросы, которые не учтены в сценарии. Это совершенно нормально и даже хорошо. Иногда дизайнеры или менеджеры порываются забежать к респонденту (хотя бы после теста) и поговорить с ним лично. Однако лучше, если все дополнительные вопросы пойдут через модератора: у заказчиков может не быть навыка правильно их задавать. Мы всегда предлагаем команде проекта, наблюдающей за тестированием, транслировать вопросы модератору при помощи мессенджера. Очень часто вопросы приходится на лету переформулировать. А в некоторых случаях модератор решает задать их в другой момент или даже вовсе не задавать.
Подсказки
Хотя одна из задач модератора — не подсказывать респондентам, как решать задачи в интерфейсе, иногда подсказывать необходимо. Я помню, как на одном из первых своих проектов вела тест и, стиснув зубы, очень долго ничего не говорила неопытному респонденту. В итоге тест вместо 45 минут занял два часа. Но самое печальное: дополнительных знаний от измученного человека я не получила.
Подсказать или прервать? Подсказывайте только в том случае, если продолжение задания после подсказки принесёт дополнительные знания. К примеру, задание состоит из трёх шагов, а респондент не может выполнить первый шаг; подсказывать нужно, так как вы продвинетесь дальше и проверите оставшийся блок интерфейса. Если же задание небольшое и его результат не завязан на другие части теста, то вместо подсказки лучше предложить участнику перейти к следующему заданию. Если респондент попросит объяснить ему, как нужно было действовать, лучше не объясняйте. Если участник настаивает, я обычно предлагаю сделать это после теста. Так вы оставляете шанс респонденту всё-таки самому натолкнуться на решение проблемы при дальнейшей работе с системой, а ваше объяснение не повлияет на образ проекта, сложившийся в его голове.
Когда подсказывать? Респондент может сам попросить подсказку после первой же неудачной попытки. В этом случае лучше сказать: «Давайте попробуем ещё поискать». Прежде чем подсказать, вы должны убедиться, что человек попробовал несколько вариантов, поискал в разных местах, но действительно ничего не нашёл. Момент этот у каждого индивидуален. Кто-то готов долго пробовать разные способы, кто-то сразу сдаётся. Главное — не допускайте излишней фрустрации респондента.
Как подсказывать? Если вы видите, что уже точно пора вмешаться, то используйте следующую стратегию. Не подсказывайте сразу и явно. Сначала просто направьте респондента в нужную сторону, например: «Давайте попробуем поискать эту функцию в другом разделе» или «Мне кажется, что нас не пускают дальше, потому что есть проблема с каким-то полем». Только если респонденту не поможет общая подсказка, подскажите конкретно. Но аккуратно, следите за словами. Не вводите понятий, которые участник теста ещё не понял, не используйте сложную лексику и избегайте обобщений о работе системы, которые могут повлиять на мнение респондента о продукте.
Сложные респонденты
Вы знаете, как и когда правильно задавать вопросы, легко обращаетесь с техникой, изучили проект вдоль и поперёк, но тут вам попадается он — сложный респондент. И всё не клеится. Я попыталась выделить наиболее яркие примеры сложного поведения, которое модератору придётся корректировать.
Молчун
Как распознать? На все вопросы отвечает практически односложно. Если вы используете метод «мысли вслух», он всё время забывает о необходимости комментировать и снова погружается в молчание. На самом деле на тесте это не самый страшный респондент. Гораздо хуже получить такого на глубинном интервью.
Что делать? Возможно, вы просто изначально не установили с респондентом контакт, попробуйте наладить с ним общение. Улыбнитесь, измените тон; может быть, вы устали и задаёте вопросы слишком формально. Или это просто особенность характера вашего собеседника. В этом случае будьте готовы, что придётся всё время «раскручивать» респондента. Получив краткий ответ на вопрос, задавайте уточняющие: «почему?», «зачем?», «в какой ситуации вы сталкивались с этим в жизни?» и т. д. Тут всё время придётся думать, что ещё может вытекать из ответов, чтобы подобрать подходящий вопрос.
Болтун
Как распознать? Сначала он может показаться идеальным респондентом: контактный, легко отвечает. Но вот уже половина времени прошла, а вы всё никак не закончите вводное интервью. Один наш респондент ответ на вопрос об опыте начал со слов: «Когда я был маленьким...»
Что делать? Следить за временем и не давать респонденту застревать на темах, нерелевантных для исследования. Тут важно быть вежливым, чтобы не обидеть человека, который искренне желает с вами поделиться, но твёрдым, иначе вы просто ничего не успеете. Я обычно использую фразу: «Извините, что я вас перебиваю. Мне кажется, я в целом поняла, что вы имеете в виду. Давайте двигаться дальше, у нас ещё много вопросов».
Эксперт
Как распознать? В течение всего теста вы слышите от него советы: что поменять, какие цвета использовать, куда переместить функцию… Все пользователи рады предложить вам идеи, как улучшить продукт, но у «эксперта» весь акцент в тестировании смещается на оценку и обсуждение. Вы получаете много нерелевантных идей, так как пользователи — не профессиональные дизайнеры, они не в курсе особенностей проекта. Даже в задания такие респонденты часто не погружаются глубоко, так как их взгляд всё время приковывают очередные мелкие несовершенства сайта: тут цвет не тот подобрали, тут поле надо поместить правее и т. д.
Что делать? Иногда такое поведение — следствие неправильно расставленных акцентов при вводном инструктаже. Когда участник решил, что его позвали оценивать, а не тестировать продукт. Грань довольно тонкая, но она есть. Тем не менее, как бы правильно вы ни подбирали слова, вам может попасться респондент, который воспримет смысл тестирования именно как оценку каждого элемента интерфейса и предложение решений.
Когда «эксперт» предлагает очередную идею, важно понимать, что за ней стоит: реальная потребность или просто желание высказаться. Например, пользователь мобильной почты говорит: «Функцию пересылки письма нужно отсюда убрать». Если на вопрос модератора «почему?» он ответит: «Потому что я всегда случайно задеваю её пальцем, когда отвечаю на письмо», это говорит о проблеме и реальной потребности. И решать эту проблему вы будете, скорее всего, иначе, а не просто уберёте функцию. Если же «эксперт» не способен внятно ответить, зачем ему изменения, это не проблема и не потребность. Поэтому всегда спрашивайте, почему и зачем; а ещё лучше — просите «эксперта» вспомнить пример из жизни, когда то, что он предлагает, ему реально требовалось.
Если «эксперт» слишком погружается в какую-то идею или недостаток интерфейса, что может непродуктивно увеличить время тестирования, поступайте с ним так же, как и с «болтуном». Мягко прервите и предложите дальше выполнять задания. В целом таких людей лучше переключать именно на деятельность на тесте, хотя они всегда будут рады вернуться к обсуждению.
Также подобного поведения следует ждать от действительно экспертов в IT: разработчиков, менеджеров, дизайнеров. Они не могут абстрагироваться от своего опыта и начинают выдавать экспертную оценку проекта. Это хорошо и полезно, но не в рамках юзабилити-тестирования, так как не имеет ничего общего с пользовательским опытом. Поэтому таких людей просто не нужно приглашать на тесты. Подробнее о принципе подбора респондентов можно почитать в моей статье о рекрутинге.
Зашуганный
Как распознать? Только что вы видели, как респондент страдал и мучился, выполняя задания, но во время обсуждения он утверждает: в системе его всё устраивает, никаких проблем не возникало…
При тестировании сотрудников компании (например, для тестов внутренних IT-систем, интерфейсов операторов колл-центров и прочее) возможно следующее. Респонденты боятся, что от происходящего на тесте зависит их карьера. Они воспринимают тест как проверку своих навыков и компетенций, готовятся заранее (а возможно, и консультируются с другими людьми, уже поучаствовавшими в тестировании) и стараются выполнить задания максимально хорошо. Кроме того, опасаясь гнева начальства, респонденты с трудом высказываются о недостатках продукта и активно его хвалят, даже если страдали весь тест.
Что делать? Постарайтесь убедить респондентов, что тест не нацелен на проверку их способностей, начальство не получит результаты, а комментарии, в том числе негативные, действительно нужны проекту. Но, к сожалению, даже если вы проговорите это во вводном интервью, вам всё равно могут не поверить. Работать с этой проблемой стоит даже не на уровне модератора, а на уровне всего отдела исследований и их заказчиков. Неплохо, если руководство разошлёт всей компании проморолики о пользе исследований и о том, как сотрудники могут быть полезны проектам. Хорошо также показывать на компанию результаты хотя бы первых исследований (вот такие проблемы нашли, так их планируем исправить).
Если же вы только в начале пути повышения информированности сотрудников о внутренних исследованиях, то «зашуганных» не избежать. Полностью снять напряжение вы не сможете — поэтому не слишком доверяйте оценочным суждениям и опросникам удовлетворённости. Больше смотрите на деятельность во время теста: даже если сотрудник говорит, что всё хорошо, проблему можно увидеть. Кроме того, вам важно обеспечить, чтобы респонденты не готовились к тестированию. Поэтому не рассказывайте подробно о сути тестирования заранее, а также просите участников теста не передавать коллегам информацию о заданиях.
Неуверенный
Как распознать? Выполняя задания, он всё время ищет одобрения модератора. Часто оборачивается и задаёт вопросы: «Я прав?», «Это сейчас можно сделать?», «Мне продолжать?» и т. п.
Что делать? Если вы поощрите его один раз, он будет и дальше искать вашей поддержки. Кроме того, подобное поощрение — подсказка. Как и в случае с любыми вопросами от респондентов, отвечать можно фразой: «А как вы думаете?». Иногда я сначала даже делаю вид, что не услышала вопрос. Часто человек после этого просто продолжает задание, и оказывается — это был вопрос в воздух. Если вы видите, что респондент совсем не уверен в себе, стоит прерваться и сказать ему что-то подобное: «Всё, что вы делаете, априори правильно. Здесь нельзя что-то сломать или испортить. Если что-то не получается или не находится, значит, мы с вами нашли проблему интерфейса, которую нужно исправить».
Неадекват
Как распознать? К сожалению, тут может быть много разных вариантов; к счастью, они встречаются достаточно редко. Я сталкивалась и с нетрезвыми респондентами, и с хамами, и просто со странными людьми. Например, при тестировании одной соцсети у нас было стойкое ощущение, что пришедшая к нам женщина страдает психическим расстройством. Помимо собственного аккаунта она показывала несколько страниц со своей же фотографией, но отзывалась о них как о третьих лицах.
Что делать? В таких случаях, как в примере про соцсеть, странность респондента не мешала целям тестирования, поэтому это просто стало забавной историей. Однако всегда оценивайте, принесёт ли тестирование «неадеквата» пользу проекту. Если нет — прекратите тест, и чем раньше, тем лучше, просто чтобы не тратить время бессмысленно. Кроме того, уважайте себя. Если участник вам хамит, то вы имеете полное право выгнать его с тестирования.
Медленный
Как распознать? С этим респондентом вы быстро поймёте, что не укладываетесь в запланированный тайминг. Он медленно и обстоятельно отвечает на вопросы, долго выполняет задания. Иногда тест удлиняется из-за неопытности респондента и обилия возникших у него проблем.
Что делать? Часто такое поведение — следствие темперамента. Попробуйте мягко ускорить человека хотя бы в разговорах. Сначала подстройтесь под его темп речи, а потом потихоньку начинайте говорить быстрее. Иногда это срабатывает и немного ускоряет собеседника. Кроме того, ранжируйте задания по приоритету: вы должны понимать, какие задания выполнить нужно, а какие можно и опустить. Если респондент где-то застревает, оценивайте, что для исследования полезнее: дать ему самостоятельно (и медленно) закончить задание, подсказать (и ускорить) или перейти к следующему.
Расстроенный
Как распознать? Многие люди некомфортно себя чувствуют во время тестирования. Как бы мы ни успокаивали «расстроенных», что тестируем не их, а продукт, всё равно они боятся выглядеть глупо или что-то не то сказать. Иногда неловкость возникает во время теста, когда человек долго не может справиться с заданием и из-за этого впадает во фрустрацию. Он знает, что за ним наблюдают, его снимают на видео, и это лишь подливает масла в огонь.
Что делать? Развивайте эмпатию, следите за состоянием респондента. Кто-то спокойно воспринимает сложности. А кто-то винит себя (женщины более склонны к такому поведению). Если вы видите, что респондента действительно расстраивает происходящее, остановитесь. Повторите: «Я хочу напомнить, что не мы тестируем вас. Это вы сейчас тестируете продукт. Всё, что вы делаете, логично и правильно. Просто дизайнеры задумали это как-то иначе, и мы с вами нашли проблему». Можно прервать задание, которое вызвало бурную реакцию. Но делайте это аккуратно: человек не должен подумать, будто вы решили, что он просто слишком глуп, чтобы справиться, и поэтому не хотите даже дать ему попытаться.
Чем больше вы проведёте тестов, тем выше вероятность встретить непростого пользователя. Однако и ваше мастерство с каждым тестом будет расти. Постепенно вы научитесь смягчать сложные черты респондентов. Не забывайте искренне благодарить каждого человека в конце, даже если он был не сахар. Часто в финале тестирования мы заняты мыслями о следующем участнике, хотим немного отдохнуть или просто устали от напряжённого теста. Потратьте ещё немного сил и завершите тест искренней благодарностью и улыбкой, а не просто суньте человеку конверт в руки. Даже если он был тяжёлым для вас респондентом и не принес много пользы — всё равно он потратил на вас время и силы и поработал на благо проекта.
Заключение
Хорошим модератором становишься только с практикой. Но даже опытные модераторы ошибаются. Поэтому важно не ослаблять самоконтроль. Будьте максимально нейтральными, не задавайте слишком много вопросов, аккуратно подбирайте слова, следите за своими невербальными сигналами. Иногда я специально пересматриваю видео тестов и отмечаю свои ошибки. Полезно также работать в паре с коллегой-исследователем, обращая внимание на формулировки вопросов, реакции респондентов, подсказывая друг другу приёмы. Это позволяет оставаться в тонусе и не терять навык. Хороших вам тестов!
Автор: Mail.Ru Group
