В процессе улучшения Почты Mail.Ru мы постоянно выкатываем новый функционал. Сегодня я хочу поделиться с вами тонкостями того, как проходит обновление продукта с многомилионной аудиторией, на примере сложной и интересной задачи — редизайна Почты. Забегая вперед, перечислю этапы тестирования, которые проходит перед внедрением большая и сложная фича:
- Малая группа (как правило, это сами разработчики)
- UX-лаборатория
- Коллеги по компании
- Бета-пользователи
- Пользователи, которые сами включили обновление
- Сплит
- Все пользователи Почты
Почта в новом дизайне — внутри мы ее назвали «Септима» — должна была успешно пройти все эти этапы.
При выборе способа разработки мы рассматривали два варианта: программировать продукт рядом или обновлять старый код. Соблазн писать всё с нуля был велик, но нам важно было отправить Септиму на первый и второй этап как можно скорее: ведь идеи по обновлению дизайна и изменению user experience надо опробовать на практике, а единственная практика в нашем случае — ежедневное использование почтового ящика. Если бы мы выбрали разработку с нуля, к тестированию мы приступили бы значительно позже, чем в варианте с модификацией старого кода. Учитывая это, мы остановились на втором способе. Разрабатывая новую Почту поверх старого кода, мы смогли в короткий срок реализовать основные функции в новом дизайне, что позволило быстро начать ею пользоваться.
Септима на разработчиках (прототип)
Важно понимать, что цена исправления ошибки проектирования умножается с каждой неделей. Если вы полгода пишете продукт, которым никто не пользуется, ваши риски — это уже человеко-месяцы (а если разработчиков несколько, то человеко-годы). Более того: через полгода понять, что ключевую вещь надо было сделать по-другому, равносильно тому, чтобы на полгода отстать от конкурентов.
В Септиме мы изменили вид и поведение тулбара и сосредоточились на том, чтобы максимально быстро получить Почту с новым тулбаром и опробовать его в действии.
Итог: получив прототип, мы смогли пощупать то, что раньше существовало только на макетах. Это крайне важно для принятия дальнейших решений.
UX-лаборатория
Тестируя прототип, разработчик смотрит на него замыленным взглядом: ведь он знает о новых изменениях задолго до того, как попробует их. У пользователей же взгляд свежий, поэтому нам важно было провести тестирование в лаборатории и увидеть их реакцию на обновления.
Для тестирования мы отобрали основные функции Почты (написать письмо, открыть, ответить, и т.д.) и попросили пользователей совершить эти действия. Важно было убедиться, что для пользователей эти действия остались такими же простыми и интуитивными, как и раньше. Изменения не должны были сбивать с толку; более того — они обязаны были сделать ежедневные действия проще.
Итог: UX-лаборатория помогла нам убедиться, что направление выбрано верно, и мы можем двигаться дальше.
Корпоративные пользователи
В плане тестирования разница между коллегами из других отделов и остальными пользователями не очень велика: для них изменения также неожиданны. Единственное принципиальное отличие — коллеги могут оперативно сообщить о проблеме или оставить отзыв. Важный момент. С каждой значимой фичей мы выкатываем форму с голосованием и возможностью оставить отзыв об этой фиче. Показатель в 75% и более положительно проголосовавших мы считаем хорошим.
Итог: выкатка на коллег помогла нам решить две проблемы — получить первые массовые отзывы и проверить продукт на наличие дефектов. Отзывы оказались более чем положительными, зарепорченные дефекты мы устранили. Можно было двигаться дальше.
Бета-пользователи
Обновление Почты Mail.Ru целиком — огромная нагрузка для тестирование: автотесты еще не написаны, а ручное тестирование не может на короткий срок в несколько раз увеличится в размерах. В таких ситуациях необходимы бета-пользователи. Очень важно правильно их выбрать. Мы решили, что нам нужны достаточно продвинутые пользователи, которые не испугаются нашего предложения поучаствовать в бета-тестировании, а также смогут понятно объяснить, с какой проблемой они столкнулись (как минимум знать слово «браузер», «версия», «ОС» и т.п.). Кроме того, они должны быть достаточно лояльными пользователями, которые привыкли именно к нашему интерфейсу. Мы придумали следующие критерии «продвинутости»:
- пользуются Сhrome или Firefox
- создали больше трех папок в Почте
- пользуются нашим мобильным приложением
Тем, кто соответствовал всем перечисленным критериям, мы показали плашку с предложением записаться в бета-пользователи. Мы предложили им протестировать новый дизайн с возможностью его отключить. Результатом стало еще большее количество отзывов и всестороннее тестирование Почты с качественными репортами о проблемах. Интересно, что некоторые репорты были сразу со скриншотами консоли. А в одном был кусок CSS-кода, который предлагалось добавить в проект.
Итог: в отзывах пользователи напомнили нам о нескольких фичах из старой Почты, которые мы упустили из виду в новой версии. А голосование еще раз подтвердило, что новый продукт людям нравится.
Самостоятельное включение
Для следующего этапа мы составили «умное» письмо. Как только пользователь заходил в web-интерфейс Почты Mail.Ru, ему приходило письмо с описанием Септимы и кнопкой «Включить». Если пользователь открывал письмо в Септиме, то кнопка в письме изменялась на «Оставить отзыв». В среднем переключились 30% тех, кто прочел письмо, что в сумме с остальными ограничениями дало 11% всей аудитории.
Интересный факт: ради эксперимента мы сделали две кнопки переключения на новый интерфейс: «Обновить» и «Обновить до версии 7.0». CTR первой был на 5% выше.
На этом этапе было важно понять реакцию пользователей. Количество пользователей (90 000 проголосовавших) и отзывов (52 000, все отзывы прочитаны и обработаны) уже позволяло собрать точную статистику. К нашей радости, только 2% проголосовавших были против нового дизайна.
Этот этап был сложным для команды, поскольку при таком количестве пользователей начинают проявляться редкие конфигурации систем (сделаю отступление: конфигурация включает в себя операционную систему, браузер определенной версии, плагины к браузеру, антивирус, сетевое окружения и т.п.; каждый из этих пунктов, как и их сочетание, может стать причиной проблем с вашим продуктом). Поэтому выкатка на значимый процент аудитории требует соблюдения нескольких условий: это должно происходить в начале недели, необходимо убедиться, что все ключевые разработчики не болеют и не в отпуске, а служба поддержки — в боевой готовности. Впереди несколько напряженных дней: пользователи начинают репортить проблемы, и нужно использовать весь арсенал средств для их выявления — логи на сервере, репорты с браузеров, индивидуальное логирование и даже Team Viewer, если пользователь не против.
Итог: в нашем случае основные проблемы принесли сторонние плагины для браузера, которые рассчитывали на старую верстку сайта. Например, NCH Toolbar ломал скролл в Почте, а WebBars — написание письма. Представители целого семейства плагинов (ExSmile, SmileEx, MegaSmiles) помимо того, что ломали отображение Почты, еще и оказались троянами, нелегально проникшими на компьютеры и в браузеры пользователей.
После того как все проблемы были устранены, мы были готовы к следующему этапу.
Измеряем retention
Отзывы отзывами, но прежде чем переключать основную массу людей, нам нужно было убедиться наверняка, что новый дизайн работает, как минимум не хуже старого и мы не теряем пользователей, которые на него переключились. Хороший показатель для такого случая — возвращаемость пользователей (retention). Чтобы оценить его, мы разделили пользователей на три одинаковых по всем параметрам группы. Пользователям из первой группы мы переключили интерфейс и показали туториал про Септиму, который рассказывал об основных изменениях в Почте и морально подготавливал к тому, что привычный интерфейс изменится. Второй группе просто переключили интерфейс, а для третьей все осталось по-старому. Cамым высоким процент возвращаемости оказался у первой группы пользователей.
Итог: мы убедились, что новый интерфейс не только не отпугивает старых пользователей, но и повышает их возвращаемость в Почту.
Все пользователи
Если вы запускали изменения текущего функционала, то знаете, что самый большой враг — это «Верните все, как было, зачем вы все поменяли?!» Самый любимый из прочитанных мною отзывов — «Уберите руки от нашего сайта!» И неважно, что в результате обновления мы сократили количество кликов с пяти до двух: для пользователя это родные пять кликов, он к ним привык.
Всем хотелось выкатить новый интерфейс в том же году, в котором начали его делать. И мы были готовы по всем пунктам. Все показатели мониторингов — скорость загрузки, количество отправляемых и читаемых писем, возвращаемость в Почту — были либо выше либо такими же, как в старой Почте. Оставалось измерить еще один показатель — насколько новый интерфейс нравился пользователям. На тот момент положительно оценивших Септиму было 98%, но нужно было учитывать, что это было мнение пользователей, которые сами приняли решение переключиться. Мы «дернули рубильник» — переключили всех, — а затем снова измерили соотношение тех, кто был «за» и «против».
Итог: на данный момент доля тех, кому нравится Септима, составляет 93% — это новый рекорд для нас.
Если у вас был опыт масштабных обновлений, буду рад услышать о нем в комментариях: стараетесь ли вы минимизировать для пользователей стресс, связанный с переходом на новую версию, как тестируете апдейты, на какие этапы делите выкатку обновлений?
Автор: AndrewSumin
