UX-команда MailChimp: Как мы проводим исследования [3-я часть книги]

[ Перевод первой части книги ]
[ Перевод второй части книги ]

Радикализация данных

Грегг Бернстейн

Один из основных принципов в работе с контентом или дизайном чего-либо заключается в умеренной расстановке акцентов. Перегружая дизайн или текстовый материал массой выделяющихся деталей, вы рискуете целиком и полностью сбить внимание вашей аудитории со значимых для вас моментов. Работая в качестве исследователя в MailChimp, я понял, что наши ребята научились добиваться хороших результатов, используя абсолютно противоположный подход.

Мы начинаем с того, что важно абсолютно все – у каждого из показателей своя история. Следуя по пути таких историй, объединяя их в единое целое, мы и приходим к пониманию направлений наших исследований, выделяем в них важные моменты и устанавливаем приоритеты.

Ваши клиенты умнее вас

Мы не ставим себя выше тех данных и историй, которые пытаемся отыскать в ходе исследований. У нас есть множество источников для получения исходных данных: отзывы клиентов в почте, результаты анкетирования и интервью, юзабилити-тестирования, аналитика и т.д. Отсутствие лишней спешки в формировании предположений о возможных результатах наших исследований помогает нам чувствовать себя свободнее в работе с данными.

Развязывая руки нашему «внутреннему» Коломбо, без лишнего преувеличения собственной важности и осведомленности, мы учитываем каждое мнение как экспертное, несущее в себе вес и смысл. Именно такой подход помогает нам находить зависимости в исследуемых данных.

Мы каждый день получаем письма с жалобами и пожеланиями о работе наших сервисов и читаем каждое из них. Почему? Мы уверены в том, наши клиенты гораздо больше нас знают об использовании сервисов MailChimp, и если уж мы работаем для них, то почему бы у них и не поучиться?

В прошлом году мы получили всего один запрос на функцию заметок в профиле подписчика, но не отказались от размышлений на эту тему – обратились к этому человеку напрямую, разобрались с его use-case’ом и внесли соответствующие изменения в план разработки. Проявив должное внимание даже единичному обращению клиента, мы получили возможность помочь множеству пользователей наших сервисов.

Аналогичным образом мы подходим и к анализу результатов интервью. Например, если данные указывают нам направление для размышлений в сторону eCommerce, мы обращаемся к клиентам и пытаемся разобраться в их типичном и атипичном рабочем процессе и в их продуктах. Понимание контекста наших исследований здорово помогает нам в достижении осмысленных результатов.

The ReWired Group предлагает похожий подход, когда клиенты «нанимают» продукты и сервисы для решения тех или иных задач, а исследователи пытаются понять мотивы в принятии решений о выборе того или иного продукта или сервиса. Мы всегда придаем экспертный статус отзывам и предложениям наших клиентов, стараемся разобраться в каждой конкретной ситуации и проповедуем открытый подход в работе с данными.

Проверяйте гипотезы клиентов

Конечно, каждый показатель говорит нам об определенной зависимости, которая необязательно применима. Как только у нас появляется достаточное количество опровергающей информации, мы отвергаем ложную гипотезу и двигаемся дальше.

Например, однажды мы обнаружили данные, говорящие о том, что существует возможность отписаться от рассылки, случайно кликнув на соответствующую ссылку. Разобравшись с источником данных, частотой возникновения подобной ситуации и контекстом, мы решили не продолжать детальное рассмотрение этого кейса. Возможные варианты доработки приложения могли бы решить проблему пары человек, но при этом усложнить работу тысяче других клиентов.

Детальное рассмотрение показателей позволяет постоянно учиться у наших клиентов и не упускать возможности по улучшению наших продуктов.

Делитесь результатами ваших исследований

Ларисса Вольфрам-Гвас

Продуктивные исследования требуют многодневной подготовки тестов, вопросов анкет и интервью, пула участников и пилотных испытаний. Различные этапы исследований занимают от нескольких дней до недель, а для того, чтобы пересмотреть видеозаписи интервью, подготовить транскрипты, произвести отсев ответов, провести дополнительные интервью и сделать выводы, требуется еще больше.

Что происходит далее? Как мы транслируем результаты исследований в планы по разработке? Как использовать инсайты исследований на практике?

Вне зависимости от своего интереса, актуальности и логической правильности исследование должно оказывать положительное влияние на наши продукты и сервисы. Одной из основных задач сотрудников, ответственных за проведение исследований, является донесение их [исследований] результатов до коллег, принимающих решения о доработке дизайна, разработке того или иного функционала, изменении подхода к маркетингу и работе с контентом, регулировании процессов технической поддержки и т.д. Все это и составляет так называемый пользовательский опыт.

Отчет об исследовании – один из общепринятых способов распространения результатов, требующий значительных временных затрат на изучение в силу своего объема. Мы много экспериментировали, пытаясь решить эту проблему, и пришли к следующим вариантам оформления отчетности.

Постеры

В 2013 году мы разработали постеры персонажей, иллюстрирующие основные категории наших клиентов. Наша UX-команда прорабатывала самих персонажей несколько месяцев, подготовила отчет с их подробным описанием и попросила дизайнеров сделать соответствующие постеры. Мы расположили эти постеры в общем зале офиса, чтобы в конечном счете обратить дополнительное внимание коллег на людей, для которых мы работаем. В ходе масштабного редизайна, который мы провели год назад, мы еще и прикрепили отзывы клиентов к соответствующим постерам.

Сами по себе постеры не могут служить инструментом для подробного изучения профиля наших клиентов, но их основное преимущество заключается в скорости восприятия.

Офисные часы

Утром по пятницам мы все вместе собираемся на «кофе с экспертом» – в рамках таких мероприятий спикеры делятся своим опытом организации творческой работы, журналистики, дизайн-находками и просто анекдотами. Иногда к ним присоединяется и наша команда исследователей, которая делится свежими результатами своей работы, принимая эстафету у предыдущих докладчиков. Обычно речь идет об общих трендах, охватывающих основную массу наших клиентов, а значит имеющих отношение ко всей компании.

Итогами таких посиделок мы делимся и с помощью Google Drive или Evernote, в котором обычно ведем основную часть работ, связанных с исследованиями, но предпочитаем рассказывать о результатах в ходе личного общения.

В ходе совместных ланчей, являющихся менее формальными, чем «кофе с экспертами», группы по 20 человек и меньше собираются вместе с дизайнерами и разработчиками для просмотра видеозаписей юзабилити-тестирования. В рамках таких встреч нам удается обсудить вопросы, связанные с дизайн-решениями в спокойной обстановке.

Данные способы представления результатов исследований динамичнее отчетов и позволяют донести информацию до тех, чье внимание невозможно сконцентрировать никак иначе, кроме как в ходе непосредственной беседы с возможностью задавать вопросы и предлагать решения.

Корпоративная рассылка

Иногда наши исследователи сами пользуются MailChimp для информирования коллег о результатах своей работы. Это может быть тематическая подборка статистической информации на тему показателей использования наших сервисов, интегрированных сервисов или на тему поведения пользователей. Обычно такая подборка снабжается краткими комментариями или анализом.

Конечно, этого не всегда достаточно для формального представления данных, но достаточно для базового понимания. Помимо этого мы прикрепляем ссылки на дополнительные источники по теме рассылки.

Мини-фильмы

Иногда мы монтируем короткие 5-минутные ролики, дающие всей нашей команде представление об одном дне из жизни наших клиентов. Лица клиентов, понимание их рабочего пространства и технологий помогает повысить чувство эмпатии. Рассказ клиентов о том, как именно они пользуются нашим продуктом, что им мешает или, наоборот, кажется полезным, воспринимается гораздо лучше стандартных отчетов.

Отчеты на Google Drive

Конечно, распространение отчетов не является нашим единственным способом «общения», но и без него не обойтись. Мы пользуемся Google Drive, с помощью которого можно достаточно просто обмениваться информацией и комментариями в асинхронном режиме. Отчеты читает лишь часть сотрудников компании, первым делом с ними знакомится руководство, которое рекомендует материалы конкретным исполнителям в соответствии с их проектами.

Наши дизайнеры и разработчики отмечают, что отчеты хорошо работают в качестве референса в процессе работы над тем или иным проектом. Обычно наши отчеты богаты деталями и требуют внимательного прочтения – именно такую пометку они и получают при необходимости.

Евангелисты исследований

Каждая из форм отчетности по проводимым нами исследованиям решает свои задачи, и команда UX-исследователей MailChimp постоянно работает над распространением результатов своей работы в соответствии с предпочтительными каналами потребления информации сотрудниками компании. Одним из элементов нашей работы является и неформальное обсуждение исследований – привнесение точечных замечаний в обсуждения рабочих моментов с коллегами. Используя данный прием, стоит обратить дополнительное внимание на аккуратность, своевременность и краткость ваших замечаний – не стоит монополизировать все обсуждение, докладывая о всех аспектах своих исследований.

Мы стараемся поддерживать атмосферу открытости в MailChimp, приветствуя свободное обсуждение идей, а междисциплинарный характер наших исследований позволяет понимать влияние работы одной команды на других сотрудников. Обсуждая нашу работу с коллегами, мы делимся не только знаниями, но и стараемся объединять людей, способных решить задачи эффективнее, работая вместе. Например, мы знаем о том, что наш бренд-менеджер получил интересные инсайты от наших клиентов из сферы eCommerce, поэтому имеет смысл обсудить с ним соответствующий функционал, находящийся на стадии доработки.

Исследовательский дух

В настоящий момент мы работаем над тем, как можно освежить результаты наших исследований и привлечь к ним больший интерес со стороны коллег. Специально для этого мы привлекли наших дизайнеров и разработали закрытые странички для представления наших результатов в более привлекательной и краткой форме. Помимо этого вместе с командой по маркетингу мы прорабатываем вариант с представлением всего этого еще и в виде комиксов для наших коллег.

Наша цель – обсуждение работы компании всем коллективом. Мы стараемся заинтересовать сотрудников компании фактами о людях, для которых они работают. В конечном счете мы стремимся к улучшению нашей продукции. В нашей команде трудятся умные и талантливые люди, и наша задача заключается в снабжении этих людей актуальной информацией, которая поможет им в принятии решений.

Как нам удалось обработать 506 тысяч ответов респондентов

Фернандо Година, Ларисса Вольфрам-Гвас

Обратная связь – важнейший элемент в работе компании, обеспечивающий принятие обоснованных решений в процессе улучшения наших продуктов. В 2013 году мы решили провести эксперимент и разослали опросник с 46 вопросами. За неделю мы получили ответ от более чем 11 тысяч респондентов. Это целых 506 тысяч ответов, которые нужно обработать.

Фернандо: Первичная обработка

Нам удалось достаточно быстро проанализировать ответы на многовариантные вопросы благодаря удобству специализированного сервиса SurveyMonkey, позволившему определить долю использования мобильных устройств компаниями с тем или иным числом сотрудников или оценить степень использования командного подхода к работе в той или иной индустрии.

К изучению данных мы привлекли Джона Формана, возглавляющего команду исследователей. Джон продемонстрировал нам пару своих приемов в Excel, но это уже совсем другая история.

Итак, перед нами стояла задача обработки тысяч ответов респондентов в свободной форме, и мы решили посмотреть на эту задачу с точки зрения работы по сборке большого паззла – нам было необходимо сопоставить данные и выделить зависимости. Таким образом, мы решили классифицировать ответы, обладающие общими признаками и вместо того, чтобы получить по 1966 ответов на вопрос, мы получили по 14 так называемых «корзин», отражающих определенные типы ответов. Далее мы ранжировали эти группы, получив более конкретные ответы на поставленные вопросы, которыми уже можно было поделиться с коллегами.

Ларисса: Поиск смысла в хаосе

Классификация ответов здорово помогла нам в работе с данными, но в работе с десятками тысяч ответов все гораздо сложнее, и достаточно непросто выделить между ними смысловые зависимости. Есть множество подходов к работе с ответами в свободной форме, но я попытаюсь выделить основные моменты, которые помогут вам решить эту задачу, используя SurveyMonkey.

Определитесь с тем, что вы хотели бы узнать

Начиная анализ ответов, сконцентрируйтесь на основной цели вашего исследования. Если вы пытаетесь понять число ваших клиентов, испытывающих неудовлетворенность относительно какой-либо части функционала, ваш подход будет отличаться от того, который вы могли бы использовать для определения наиболее часто используемого функционала. Концентрация на цели исследования поможет быстрее обработать полученные данные.

Классифицируйте данные

Как было отмечено ранее, «открытые» вопросы – отличный инструмент для сбора мнений клиентов, но с ростом числа ответов на такие вопросы усложняется и процесс анализа.

Конечно, мне всегда хочется побыстрее узнать ответы наших клиентов, и я сразу начинаю пролистывать ответы для удовлетворения своего любопытства. Закончив с этим, я избавляюсь от тех ответов, которые не несут в себе какой-либо ценности – это могут быть либо прочерки, либо ответы тех людей, кто хотел побыстрее перейти к следующему вопросу. Такие ответы попадают в корзину «Без ответа».

Далее – я просматриваю ответы на предмет общих ключевых слов в зависимости от цели моего исследования. Это может быть и функционал MailChimp (шаблоны, профили пользователей, автоответчик), задача пользователей (импорт данных, сегментирование, синхронизация) или другое ПО (Excel, EventBrite, различные CRM). SurveyMonkey как раз позволяет производить поиск по ключевым словам. Таким образом, можно быстро распределить ответы по категориям.

Тестовый анализатор SurveyMonkey позволяет автоматически находить часто используемые в ответах респондентов слова или словосочетания. Этот функционал не дает идеальных результатов, но иногда помогает узнать что-то новое о ваших данных и достаточно быстро провести классификацию ответов. Далее остается только обработать ответы, не попавшие в выборку анализатора.

Уточните полученную классификацию

Завершив классификацию, я просматриваю ответы в каждой из «корзин». Иногда приходится уточнять, разбивать или объединять группы ответов. Например, ответ может находиться в группе «интерфейс», но по своей сути относиться к группе «контент».

Определитесь с кандидатурами для проведения интервью

Проведение опросов помогает выяснить, с какими сложностями сталкивается та или иная группа пользователей, но причины не всегда столь доступны для анализа. Для полноты картины наша команда исследователей обычно проводит дополнительные интервью с клиентами. Просматривая ответы, я отмечаю тех респондентов, с которыми было бы полезно провести интервью, и выделяю вопросы, с которыми стоит разобраться в деталях. Этим стоит заниматься в процессе уточнения классификации.

Обратите внимание на исключительные случаи

Исследования помогают разобраться с общими трендами, отвечающими мнению большинства клиентов, но не стоит забывать и о тех, кто выделяется из общей массы. С такими случаями лучше всего работать в индивидуальном режиме, проводя дополнительные интервью. Обычно такие люди помогают нам узнать об интересных способах использования продуктов MailChimp, и время, которое мы отводим на общение с ними, окупается в дальнейшем.

Научитесь двигаться вперед

Конечно, это сложно. Сложно завершать исследование без разрешения всех вопросов, анализа каждой из возможных зависимостей, трендов или уточнения других фактов, но все это не сделает из вас лучшего исследователя, а только займет ваше время. Если вы обнаружите что-то интересное, но лежащее вне рамок текущего исследования, просто добавьте очередной пункт в список необходимых для исследования вопросов и вернитесь к нему позднее.

Не торопитесь с выводами

Ваша работа не заканчивается классификацией ответов. Конечно, можно сказать, что 22% респондентов пользуются мобильными устройствами, но эти данные слишком скупы для полного понимания портрета клиента, конкретных устройств, задач и причин использования мобильных устройств. Наша задача заключается в поиске смысла с использованием контекста и уточненных данных. Дает ли нам все это классификация? Нет, но это хорошая отправная точка.

Открытое интервью

Стеф Троит

Есть множество способов проведения интервью в рамках дизайн-исследования: по телефону, дистанционно с помощью видеосвязи, очно в различной обстановке (изолированном кабинете, шумном офисе или кафе) и т.д. И это если говорить только о видах помещений.

Что спрашивать? Нужна ли структура? Поможет ли она в дальнейшем анализе ответов? Это больше похоже на подход, берущий за основу данные. Мы исповедуем более естественные процессы. Для того, чтобы погрузиться в атмосферу и взглянуть на ситуацию с точки зрения клиента, нужно быть готовым к непредвиденным обстоятельствам и, соответственно, непредсказуемым результатам.

Начав активную работу с тем, что лежит за запросами на реализацию того или иного функционала или элемента интерфейса, мы начали работать и над нашими навыками по проведению интервью. Мы предпочитаем сфокусированный и открытый к возможным находкам подход, который позволяет балансировать между получением осмысленных данных и неожиданных сюрпризов.

До интервью

Работа исследователей начинается задолго до непосредственного проведения интервью. Ниже мы приведем те пункты, на которые мы обращаем внимание в рамках подготовки к интервью.

Обратите внимание на цель исследования

Понимание того, что именно вы хотите достичь в результате проведения интервью, критически необходимо для получения пригодных для дальнейшей работы данных. Например, это может быть как уточнение профиля какого-либо из типов клиентов или сравнение рабочих процессов различных клиентов, так и исследование среды, в которой нашими продуктами пользуются представители той или иной индустрии.

Вне зависимости от типа интервью имеет смысл использовать чеклист с необходимыми рамками, которые помогут вам держаться намеченного плана. Это может быть список тем или ряд вопросов. Мысленная репетиция предстоящего интервью и заострение внимания на его целях позволит вам лучше оценить круг потенциальных кандидатов для проведения интервью.

Установите взаимодействие с интервьюируемым

Процесс отбора кандидатов для интервью завершается тем, что с ними нужно связаться, и это – непосредственный шанс наладить взаимодействие и подготовить человека к интервью. Личное общение на данном этапе позволяет внести ясность в ожидания интервьюируемого и установить доверительную атмосферу.

В процессе интервью

Подготовка фундаментально отличается от практики. Сидя напротив интервьюируемого, не бойтесь отойти от заранее определенного формата. Конечно, определенные рамки нужны, но я предпочитаю открытое общение, в ходе которого можно сконцентрироваться на определенных моментах.

Атмосфера

В зависимости от степени общительности того или иного человека я выстраиваю свое общение с ним. В самом начале интервью стоит кратко подчеркнуть, что вам будет интересно узнать от этого человека что-то новое. Все это можно сделать, заполняя необходимые бланки и разбираясь с формальностями.

Иногда я прошу людей рассказать о себе в общих чертах, что постепенно приводит к обсуждению важных для человека моментов. С помощью такого подхода я предоставляю ведущую роль интервьюируемому, и он может спокойно рассуждать на ту тему, которая волнует его больше всего.

Открытый формат интервью позволяет воспользоваться ассоциативным свойством нашей памяти. Это работает, когда интервьюируемому требуется пару раз мысленно вернуться к одной ситуации для того, чтобы вспомнить что-то, что мы могли бы использовать в качестве инсайта.

Строгое соблюдение формального характера интервью всегда вызывало у меня сомнения, ибо оно фактически сводится к рассмотрению интервьюируемого человека в качестве «черного ящика», с которым разговаривают в формате «вопрос-ответ». Это больше походит на допрос, а мы склонны к использованию подхода, ориентированного на открытость обсуждения с необходимыми уточнениями по ходу беседы.

История

Начиная работу по проведению интервью, я пытался запомнить все вопросы, которые мне было необходимо задать. С опытом ко мне пришло осознание потребности в упрощении этого подхода. Суть решения заключается в том, что нужно просто быть любопытным, вот и все.

Конечно, все это хорошо работает на практике, но я решил подумать об этом и с точки зрения теоретического описания. Я пришел к тому, что стоит относиться к каждому интервью как к истории, над формированием которой мы и работаем в процессе проведения интервью. Для такой истории необходимо собрать факты и соответствующие детали, определиться с действующими лицами и ходом событий, понять все сложности на пути «героев». Все это необходимо сделать за достаточно короткий промежуток времени.

Стоит быть готовым к тому, что интервьюируемые будут делиться с вами фактами без какой-либо хронологии или логической последовательности. В определении соответствия между информацией, полученной на интервью, и заключается ваша работа, для этого я обычно пользуюсь подготовленным заранее списком пунктов, которые необходимо обсудить. По ходу интервью я могу вернуться к какому-либо из пунктов, попросив собеседника уточнить определенные детали.

Помимо этого я записываю все темы, которые так или иначе затрагивает мой собеседник, чтобы вернуться к ним в дальнейшем, если я посчитаю это необходимым. Это позволяет общаться без жесткого переключения на ту или иную тему. В заключении интервью я проверяю каждый из пунктов, чтобы удостовериться в том, что мы все обсудили.

После интервью

Конечно, достаточно сложно сразу приступить к обработке результатов интервью, которое проводилось без соблюдения жесткой структуры, но есть некоторые приемы, призванные помочь вам в этом. По мере завершения интервью стоит сразу записать все ключевые для вас моменты, которые вам удалось запомнить. При проведение интервью в командном режиме мы выделяем некоторое время как раз для составления подобных саммари. Наша память – это совершенный инструмент, выделяющий самое важное, почему бы не воспользоваться этим?

По мере проведения некоторого числа интервью мы проводим обзор уже завершившихся бесед. Таким образом, мы приходим к формированию данных, пригодных для дальнейшего использования.

Это может показаться старомодным, но я всегда пишу письмо с благодарностью всем нашим респондентам, оставляя возможность для дополнительных комментариев или вопросов. В конце концов «история» о работе клиентов с нашим сервисом не ограничивается рамками наших интервью, и при удачном стечении обстоятельств вы сможете узнать новые детали об их работе с вашим продуктом.

Автор: frii_fond

Источник