Общение с очередным респондентом. Кадр из к/ф Матрица (The Matrix, 1999)
Как вы знаете из наших прошлых постов, в Mail.Ru Group есть своя UX-лаборатория, которой более четырех лет. Сейчас в большинстве крупных IT-компаний либо уже есть направление UX-исследований, либо планируется его запуск. Наша лаборатория работает только с продуктами Mail.Ru Group, но мы решили сделать исключение и приоткрыли её двери для внешних компаний и проектов, знающих о ценностях UX-исследований, но пока не решившихся выделить бюджет на их проведение.
Для выбора внешнего «заказчика» мы распространили информацию о нашем конкурсном проекте в социальных сетях и устроили розыгрыш бесплатного юзабилити-тестирования. Победителем стала команда проекта service-centers.ru — это сайт для поиска и выбора сервисных центров по всей России.
В этом посте мы хотим рассказать тем, кто пока мало сталкивался с UX-тестами, как они должны проходить, как к ним готовиться и какую пользу они могут принести. Так что, возможно, идея «взглянуть глазами пользователя» на продукт поможет кому-то из читателей не наступать на одни и те же грабли.
1. Этапы проекта
1.1. Подготовка
1.1.1. Первая встреча с заказчиком
Любой проект начинается со встречи с заказчиком. Нам важно выяснить ожидания заказчика от проекта, вместе разобрать продукт, обсудить его аудиторию, рассказать о том, как будет проходить проект, на каких этапах понадобится активное включение заказчика, и договориться о дальнейшем взаимодействии.
1.1.2. Результаты встречи
О продукте
Service-centers.ru позволяет владельцам/представителям сервисных центров (далее сокращенно — СЦ) разместить информацию о СЦ и заниматься их продвижением/популяризацией, а потребителям услуги найти СЦ, соответствующий их запросу.
Аудитория продукта
Аудитория продукта делится на две группы:
- Владельцы/представители СЦ — владельцы СЦ или ответственные за продвижение СЦ и размещение информации о них.
- Пользователи бытовой техники и электроники — любой человек, столкнувшийся с поломкой бытовой техники (далее сокращенно — БТ) и/или электроники.
По данным заказчика, среди пользователей сайта 80% мужчин и 20% женщин. Возрастной диапазон — от 28 до 35 лет.
Основной запрос заказчика
Основные пожелания заказчиков были зафиксированы и представлены четкими требованиями к проекту:
- Получить информацию о том, как пользователи выбирают СЦ, на какие параметры ориентируются при выборе СЦ, на что обращают внимание.
- Проверить, различаются ли поведение и критерии выбора СЦ у жителей Москвы и жителей регионов (например, Ростов-на-Дону и Казань).
- Понять, насколько удобен стал сайт после редизайна для пользователей БТ и электроники.
Изменения в продукте
На этапе знакомства с продуктом мы дали заказчику несколько экспертных рекомендаций, как доработать сайт, чтобы устранить очевидные проблемы (например, отсутствие фильтров).
1.1.3. Планирование проекта
Предложение заказчику
Так как заказчик хотел не только выявить юзабилити-проблемы продукта, но и узнать о том, как представители ЦА выбирают СЦ и на что обращают внимание, к тестированию был добавлен блок интервью, позволивший собрать опыт респондентов, полученный ранее при столкновении с такой проблемой, как поломка бытовой техники или электроники.
По итогам встречи мы составили предложение по проекту:
Метод
Юзабилити-тестирование с элементами интервью (вводное интервью, задачи тестирования, моделирующие несколько ситуаций обращения в СЦ).
Респонденты
Заказчик был ориентирован на пользователей БТ и электроники, поэтому мы стали работать с этой частью пользователей сайта.
К участию в исследовании привлекались респонденты, различающиеся по подкованности в предметной области и проживающие в разных регионах, чтобы посмотреть, повлияют ли эти различия на поведение респондентов при подборе СЦ.
Критерии рекрутинга
Восемь респондентов, представляющие две группы аудитории — разбирающиеся в ремонте техники и не разбирающиеся.
«Опытные пользователи» — на бытовом уровне разбираются в ремонте БТ и электроники (могут собрать компьютер из комплектующих; разобрав электронику, понять, какая из запчастей вышла из строя); самостоятельно выбирают БТ и электронику; предпочитают самостоятельно разобраться в причине поломки.
«Неопытные пользователи» — не разбираются в ремонте БТ и электроники; не могут выбрать БТ и электронику самостоятельно и обращаются за помощью; не пытаются определить причину поломки самостоятельно.
В каждой группе половина респондентов была жителями Москвы и половина — жителями регионов (Казань и Ростов-на-Дону).
| Опытные | Неопытные | |
|---|---|---|
| Москва | 2 респ. | 2 респ. |
| Казань | 1 респ. | 1 респ. |
| Ростов-на-Дону | 1 респ. | 1 респ. |
Задачи тестирования
Задачами тестирования стали типовые ситуации обращения в СЦ и проверка основных предположений заказчика о том, как пользователи выбирают СЦ.
Задачи, предлагаемые респондентам:
- Свободный поиск СЦ — респондентам предлагалось найти СЦ для ремонта той вещи, которая ломалась у них последней.
- Поиск крупного (сетевого) СЦ — респондентов просили представить, что их знакомый рассказал о том, как, сдав телефон в ремонт, не смог вернуть его. Респондента просили выбрать СЦ, которому, на их взгляд, можно доверять. Мы хотели проверить, какой из параметров будет ассоциироваться с надежностью СЦ.
- Поиск авторизованного СЦ — респондентов просили найти СЦ, одобренный производителем сломанной вещи. Задание предлагалось в том случае, если ранее респондент не искал СЦ по этому параметру.
- Поиск СЦ для срочного ремонта — респондента погружали в ситуацию, требующую срочного ремонта.
1.2. Что мы получили перед выходом на тестирования?
Респонденты
Критерии рекрутинга — четко сформулированные, согласованные с заказчиком и направленные в рекрутинговое агентство.
Расписание тестирований
Расписание составлялось из расчета четыре человека в день, одна сессия продолжительностью в час, часовой перерыв между сессиями. Один день закладывался на случай срыва сессий тестирования.
Примечание: часовой перерыв помогает амортизировать непунктуальность респондентов и задержки сессий.
Сценарий
Сценарий, состоящий из блока интервью и задач тестирования, согласованный с заказчиком.
Приглашение заказчика на просмотр сессий тестирования
Заказчика пригласили на просмотр тестирования. Представители заказчика могли вживую видеть работу респондентов и фиксировать возникающие затруднения.
По итогам тестового дня результаты тестирования обсуждались с заказчиком.
Примечание: важно обсуждать выявленные проблемы с заказчиком, так как заказчик может интерпретировать увиденное иначе. Но это не наш случай.
1.3. Тестирование
Организация тестирования
Часть тестирований проходила в нашей лаборатории с использованием eye-tracking.
Респондентов из регионов тестировали удаленно. Для подобных случаев мы предпочитаем использовать GoToMeeting.
Ход тестирования, или какие проблемы бывают
Небольшой список проблем, который может сильно усложнить тестирование, если заранее не подстраховаться.
Респонденты иногда:
- не приходят — спасает запасной день тестирования;
- сильно опаздывают — спасает большой перерыв между сессиями;
- не понимают, на каком ПО будет проходить удаленное тестирование, — бывает, что перед тестированием у респондента нет под рукой компьютера, важно очень четко договориться;
- не могут настроить программу GoToMeeting — мы высылаем инструкцию по установке и назначаем день предварительных созвонов, чтобы убедиться, что все готово к тестированию.
Обработка результатов
При обработке полученных данных мы смотрели:
- Есть ли какой-либо параметр, заметно влияющий на поведение пользователей при выборе СЦ, и/или параметры, на которые они ориентируются?
- Из каких шагов состоит процесс подбора СЦ?
- Какие параметры СЦ пользователи считают основными?
Также в отчете были представлены выявленные юзабилити-проблемы service-centers.ru.
Мы рассказали о подготовке проекта, дальше мы представим часть полученных результатов и интересные юзабилити-проблемы.
2. Результаты
2.1. Результаты интервьюирования
Аудитория
По результатам интервью можно говорить о том, что различия аудитории по опытности/неопытности и региону проживания значимо не влияют на действия владельцев техники при подборе СЦ.
Деятельность всегда разбита на три шага:
- поиск информации в интернете;
- звонок/консультация в СЦ;
- принятие решения об обращении в СЦ.
Несмотря на то что нельзя выделить группы аудитории, принципиально различающиеся поведением или параметрами, на которые они ориентируются, удалось зафиксировать ряд интересных особенностей поведения.
| Респонденты, относившиеся к группе «Опытные» | Респонденты, относившиеся к группе «Неопытные» |
|---|---|
|
|
Особенности подбора СЦ между жителями регионов и Москвы оказались настолько любопытными, что мы решили не публиковать их и оставить конкурентным преимуществом нашего заказчика. :)
Параметры подбора СЦ
При рассказе респондентов об опыте подбора СЦ в интернете удалось зафиксировать параметры, на которые ориентируются пользователи.
Основные параметры подбора СЦ на сайтах:
- вид техники — 5 из 8;
- время работы — 4 из 8;
- стоимость работ — 4 из 8
- местоположение — 4 из 8
(предпочитали СЦ рядом с домом или работой); - производитель — 3 из 8.
Дополнительные опции:
- приятный сайт — 2 из 8;
- специализация СЦ — 1 из 8.
Помимо основных параметров подбора, респонденты учитывают:
- сроки ремонта — 7 из 8 (чаще, чтобы понять, когда они получат вещь назад; в случае если вещь нужна срочно, то уточняют, есть ли в СЦ опция срочного ремонта).
2.2. Результаты тестирования
По итогам тестирования были выделены основные блоки проблем service-centers.ru:
- навигация;
- фильтры и сортировка;
- просмотр списка СЦ;
- представление информации о СЦ;
- проблемы карточки СЦ.
Рассмотрим проблему из блока «Навигация», который «встречает» пользователей.
На сайте нет единого и универсального способа начать поиск сервисного центра
Посетителям предлагается воспользоваться строками поиска и разделами «Чаще всего в Москве ремонтируют» и «Самые популярные сервисные центры Москвы».
Почему это неудобно? Эти инструменты навигации хороши для решения конкретных задач и могут быть использованы как дополнительные.
Например, если сломавшийся товар относится к часто ремонтируемым или вам нужен СЦ, одобренный популярным производителем (да, второй блок относится к авторизованным СЦ, а не самым популярным по рейтингу или частоте обращений). Поисковые строки сработали хорошо, но только для пользователей, догадавшихся об их принципе работы. Но на сайте нет основного, универсального инструмента навигации.
Что же делали респонденты? Респонденты долго просматривали главную страницу перед тем, как перейти к поиску СЦ. В случае поломки вещей, не попадающих в категорию часто ремонтируемых, пользователи испытывали затруднения.
Наши рекомендации. Представить основную навигацию на сайте в виде каталога товаров с привычным разбиением на категории (электроника, компьютеры и планшеты, бытовая техника, авто). Так как этот инструмент используется в большинстве интернет-магазинов бытовой техники и электроники, пользователям будет привычнее и удобнее выбирать категорию ремонтируемого товара.
Конечно, это не все трудности, с которыми сталкивались респонденты на главной странице, но в этом обзоре мы можем охватить небольшое количество проблем, и лучше разобрать недостатки разных блоков.
Разберем проблему из блока «Фильтры и сортировка».
Незаметна возможность просмотреть СЦ на карте
Вид опции «Просмотр на карте» до внедрения изменений:
Почему это неудобно? Такая визуализация опции делала ее «невидимой», она располагалась выше основных параметров фильтрации (производитель, наименование товара), практически сливалась с фоном сайта и была незаметна даже тем респондентам, которые нашли блок фильтров. По итогам первого тестового дня заказчик изменил визуализацию и местоположение опции.
Частично проблема была решена, но из-за неудачного оформления блока фильтров* два респондента не заметили возможность отсортировать список СЦ по местоположению.
* Блок фильтров визуально не выделен и сливается с фоном сайта. В результате блок фильтров не выглядит как инструмент, относящийся к списку СЦ, воспринимается как «шум» и игнорируется пользователями.
Наши рекомендации. Просмотр на карте, по сути, является не параметром фильтрации, а способом просмотра списка СЦ. Мы рекомендовали разместить этот функционал в начале списка. Например, в виде переключателя «Просмотр на карте» и «Просмотр списка».
Рассмотрим еще одну проблему, теперь из блока «Представление информации о СЦ».
Незаметна возможность посмотреть время работы СЦ
График работы СЦ появляется как всплывающая подсказка при наведении курсора на статус работы СЦ («Сейчас открыто/закрыто» и время закрытия/открытия).
Пользователям было неудобно ориентироваться по статусу работы СЦ. Чтобы выбрать время для визита в СЦ, важно знать, когда открывается и закрывается СЦ. Большинство респондентов не заметили возможность посмотреть график работы, наведя курсор на статус работы СЦ.
Инструкции к заданию не содержали указания на то, когда респондент будет обращаться в СЦ. Респондентов ставили перед фактом поломки и просили подобрать СЦ. Респонденты самостоятельно ориентировались на «завтра» или ближайшие дни. При планировании времени визита респондентам было важно в первую очередь увидеть время работы СЦ, чтобы понять, успеют ли они заехать в него до или после работы.
Наши рекомендации. Представить график работы СЦ в плашке и карточке СЦ так, чтобы он был виден по умолчанию и не требовал дополнительных действий для его отображения. Например, просто написать время работы.
3. Итоги
Итогами нашей совместной работы стал усовершенствованный сайт service-centers.ru. Проект помог команде заказчика понять свою аудиторию, их поведение при поиске СЦ и приоритетные параметры подбора.
Классика тестов — заказчик понял язык, на котором говорит его аудитория, и смог адаптировать продукт под решение задач ЦА.
Важно не забывать о том, что проведение теста не гарантирует стопроцентно успешных решений, нужно проверять внедренные изменения.
Хороший вариант для поиска эффективных решений — итеративные тестирования.
Автор: Mail.Ru Group
