После выпуска в 2004 году Halo 2 мгновенно стала самой популярной многопользовательской игрой в Xbox Live. Она сохраняла это звание почти два года, и можно даже с уверенностью сказать, что основной причиной выживания Xbox Live в её ранние годы стала огромная популярность этой единственной игры. На протяжении всего шестилетнего срока жизни игры более 6,6 миллионов игроков наиграли больше 499 миллионов часов в онлайн-мультиплеер Halo 2. Команда разработчиков Bungie сильно рискнула и создала новый тип онлайн-игр, получивший огромный успех и порадовавший миллионы людей.
И поэтому я рад, что не убил эту игру в зародыше.
Во время разработки Halo 2 получила кодовое название «Prophets» («Пророки»), потому что во вселенную Halo добавили новую расу инопланетян. В то время большинство исследователей в Microsoft осуществляли поддержку от трёх до пяти игр, но из-за того, что этот проект был так важен для первой Xbox, в помощь разработчикам игры выделили на полный рабочий день аж двух исследователей user experience — меня и Рэнди Пагулаяна. Мы оба были опытными учёными с докторскими степенями по экспериментальной психологии и давно состояли в отделе Games User Research компании Microsoft. Наша задача заключалась в использовании качественных и количественных техник, например, исследований юзабилити, игрового тестирования (плейтестинга) и опросов, позволяющих командам разработчиков понять, как будут приняты их игры после выпуска.
Это история о том времени, когда мне не удалось стать пророком, а мои попытки спроецировать данные исследований на будущее привели к конфликту между отделом исследований Microsoft и командой дизайнеров Bungie. Когда говорят об исследованиях пользователей игр, то обычно упоминаются только случаи, когда мы были правы, случаи, когда данные позволяли исправить дизайн игр. Но эта история не о таком случае. Она о том, как два во всём остальном компетентных исследователя сделали ошибочные выводы об инновационном элементе дизайна игры и дали плохие рекомендации, а также о том, как игра несмотря на это завоевала успех.
Инновация
До Halo 2 в большинстве онлайн-игр не использовался автоматический подбор игроков (матчмейкинг). Для нахождения других людей для игры онлайн применялись лобби. У игроков был список лобби, они читали их краткие описания и выбирали подходящее. Если оказывалось, что лобби занято хулиганами или более талантливыми игроками, то можно было вернуться назад и выбрать новое лобби, больше подходящее вам.
Огромным преимуществом таких систем лобби был контроль. Создатель лобби обладал возможностью гибко настраивать игровой процесс, разрешая только те карты и режимы, которые ему нравились, и выбрасывая пользователей, игравших не по его правилам. Привычно было видеть лобби, гордо заявлявшие: «без снайперов» или «_название конкретной карты_, каждый сам за себя».
Предложенная в Halo 2 система отбирала у игроков всю возможность выбора, заменив его системой, в которой игроки могли могли выбирать только общий тип матча (т.е. Free for all, Big Team Battle, и т.д.), после чего Bungie выбирала карту, тип игры и противников. На рисунке ниже показан скриншот из почти готовой предрелизной версии «Optimatch hopper». (Использованная нами терминология в игре не сохранилась.)
Вот как GameSpy описывал систему Halo 2 в статье, вышедшей до выпуска игры:
«Интересный поворот — все режимы игры, карты, транспортные средства и почти всё остальное будет определяться Bungie.
Хоть поначалу это может показаться странным, но по многим причинам это хорошая идея. Обеспечив одинаковую оптимизацию всех игроков под один тип игры, Bungie сможет гарантировать, что все игры будут работать плавно. Также компания сможет быть уверена в правильности рейтингов, потому что почти все будут играть на одинаковых картах с примерно одинаковым количеством игроков. Они в любой момент смогут выложить на Xbox Live обновления, и все начнут играть в новые игры. Система рейтингов определяется типом матчей, то есть вы можете, например, быть на 25-м месте в режиме Assault, но только на 78-м в Slayer ...»
Это описание сегодня кажется повседневным и очевидным, но так получилось потому, что система оказалась такой успешной, что стала новым стандартом для многопользовательских игр. Победа Halo 2 была настолько подавляющей, что теперь трудно представить, как онлайн-игры работали раньше.
И снова повторюсь — я рад, что мне не удалось её уничтожить.
Исследования
Наша исследовательская задача заключалась в том, чтобы убедиться, что игроки поймут новую парадигму. Она так сильно отличалась от того, что было реализовано в первой Halo, что мы хотели как можно раньше познакомить с новым дизайном реальных игроков, начав ещё с бумажных прототипов и текстовых описаний. Игрокам показали описания и эскизы интерфейсов нескольких вариантов того, как можно было играть в многопользовательские игры, в том числе новую систему матчмейкинга, но без традиционных лобби, создаваемых пользователями.
Реакция подавляющего числа участников была такой: «Мы понимаем её, но она отвратительна». Игроки, с которыми мы говорили, почти единогласно сообщали, что хотят иметь тот уровень личного контроля, который им давала система лобби. Они считали, что преимущества новой системы матчмейкинга не стоят отказа от старой. Сегодня сложно это представить, но тогда принцип «нажми одну кнопку и доверься нам» казался привыкшим выбирать самостоятельно игрокам слишком ненормальным и контролирующим.
Считая себя истинным гласом пользователей, мы с Рэнди пришли в Bungie и сообщили им, что игрокам противен новый дизайн, и что им нужно подумать о других способах реализации мультиплеера. Дизайнеры стояли на своём, утверждая, что их видение будущего лучше, чем статус кво, и история доказала, что они были совершенно правы. Игроки полюбили новую систему и она стала золотым стандартом онлайн-игр. Изучение матчмейкинга Halo 2 оказалось единственным крупным провалом в моей карьере (по крайней мере, пока).
Ошибки
Что же произошло? Как так случилось, что результаты исследований оказались в таком противоречии с тем, что на самом деле произошло после релиза? Ответ заключается в двух взаимосвязанных ошибках: одну совершили участники исследования, другую — сами исследователи.
Ошибка участников заключалась в когнитивном искажении «предсказание аффекта» (affective forecasting): они предполагали, что бы почувствовали в гипотетической ситуации. Существует огромное количество литературы о том, насколько неверно люди могут оценивать эмоциональное воздействие на них гипотетических ситуаций. Даже серьёзные, меняющие жизнь события, например, инвалидность или выигрыш в лотерее сложно оценивать абстрагированно.
Если бы вы спросили в то время об этом нашу команду исследователей, то получили бы ответ: «Разумеется, люди плохо умеют предсказывать свои эмоции, но мы занимаемся не этим». Изначально наше исследование ставило такой вопрос: смогут ли игроки понять эту систему? Это вполне приемлемый для исследований вопрос, на который мы смогли ответить уверенным «да». Но когда участники начали также выражать свои мнения о системе, мы расценивали эти мнения не как догадки, а как истину.
Загвоздка была в том, что участники исследований никогда не играли в онлайн-шутер с настоящим матчмейкингом. Повторюсь, сегодня это кажется странным, потому что матчмейкинг стал стандартной функцией каждой многопользовательской онлайн-игры. Но в то время участники играли в мультиплеер только по локальной сети или, в лучшем случае, по сети студенческого общежития. Мы проводили исследования в 2003 году, когда широкополосный доступ был менее чем у 16% американцев. По сути, мы просили участников сравнить известный им опыт (лобби) с неизвестным (честный и точный матчмейкинг среди большого онлайн-сообщества). Они понимали достоинства и недостатки существовавшей системы. В случае предлагаемой системы матчмейкинга они по-настоящему могли понять только то, чего лишаются. Из-за этого предложенная система казалась намного худшим изменением, чем это было на самом деле.
Поэтому когда участники исследования говорили нам, что им не понравится пользоваться такой системой, мы, исследователи, совершили собственную ошибку и представили их комментарии как точное отображение ощущений большинства будущих игроков после того, как они на самом деле сыграют в игру. Однако после ожесточённых споров Bungie решила игнорировать наши возражения и двигаться дальше с её новой системой матчмейкинга, что оказалось абсолютно верным выбором.
Разумеется, когда дизайнеры Bungie отвергли данные команды исследователей, они не указали нам на методологические ошибки и не разоблачили когнитивное искажение. У них было уникально чёткое дизайнерское видение, основанное на твёрдых принципах, и во время последовавших горячих обсуждений внутри студии они получили закалённую в боях уверенность со стороны руководителей разработки и дизайна в том, что это именно тот способ создания превосходной многопользовательской игры. Один из них втайне рассказал мне потом, что никакие результаты наших исследований не убедили бы их сменить свой курс. Почти всегда, когда я передаю данные исследований разработчикам и они отвергают их подобным образом, я после выпуска игры профессиональным тоном констатирую: «Ну я же говорил». Но в случае Halo 2 оказалась права противоположная сторона, и благодаря ей мир игр стал лучше.
Нам, исследователям, следовало представлять результаты более дифференцировано. Наши данные были верны, только если смотреть на них под определённым углом: «Вот, что некоторые игроки скажут, когда услышат о системе в первый раз». Исходя из этого, мы могли бы поработать с командой над тестированием различных способов знакомства игроков с системой, чтобы улучшить их первое впечатление и повысить скорость, с которой игроки осознавали бы истинную ценность этой системы. В фундаментальном смысле данные не были плохи, нам просто стоило учитывать их номинальную ценность.
Уроки
С тех пор я много думал об этом инциденте, поэтому перечислю некоторые уроки, извлечённые из него. Надеюсь, эта история позволит другим не совершать конкретно эти ошибки и начать делать собственные, более интересные и новые ошибки.
Урок 1: иногда исследователи должны проигрывать в спорах
Исследователи UX склонны полагать, что они открывают Истину с большой буквы «И». Это может привести к большим трениям, когда остальные участники процесса разработки отказываются принимать наши выводы. Вообще-то мы обычно правы, но ложноположительные, ложноотрицательные и просто неверные результаты всегда возможны.
Мнение исследователей пользователей игр всегда имеет в процессе разработки существенный вес, даже когда мы не более идеальны, чем все остальные сотрудники. Мы должны активно защищать наше понимание UX, но это не означает, что мы всегда должны побеждать. На самом деле, я хочу заявить, что, как и у игроков в наши игры, у исследователей должен быть идеальный уровень провалов. Если каждое исследование будет одинаково успешным, то это просто будет означать, что мы недостаточно инновационны или не берёмся за сложные исследовательские темы. Нам нужно идти на риск, и это значит, что иногда мы должны проигрывать.
Урок 2: ошибка не означает конец работы с исследователями
Исследование пользователей Halo 2 было очень напряжённой работой. Microsoft сделала большую ставку на этот проект, выделив ей такой ресурс исследователей, который в другое время мог бы поддерживать полдюжины игр. Студия Bungie, хорошо известная тщательным подбором своих партнёров, сделала «прыжок веры», предоставив нам беспрецедентный уровень доступа к её процессу разработки во время одного из самых тяжёлых кранчей в её истории. На нас с Рэнди лежала огромная ответственность: мы должны были повлиять отзывами пользователей на дизайн игры, очень важной для множества людей. Столкнувшись с недвусмысленными оценками участников, в ужасе от того, что дизайн отрицательно повлияет на впечатления миллионов игроков, мы приняли решение, что нам нужно принять бой. Но мы ошиблись и мы проиграли.
Эта история произошла в 2003 году, в середине цикла разработки Halo 2, и мы провели много других успешных исследований игры. После её выпуска мы с Рэнди погрузились в процесс поддержки сиквела, Halo 3, который стал одним из самых успешных проектов по исследованию пользователей игр. Те же два исследователя, те же дизайнеры, та же франшиза, но наша работа в результате оказалась на обложке журнала Wired и стала важной вехой, сделавшей исследование пользователей обязательной для игровой индустрии процедурой. На самом деле, это исследование и его провал сделали непосредственный вклад в будущие успехи. Руководство Bungie пришло к выводу, что исследования нужно сильнее интегрировать с работой дизайнеров, чтобы такого больше не происходило, и эта интеграция стала основной причиной нашего успеха с Halo 3. Несколько лет спустя сама Bungie даже наняла меня для создания её внутреннего исследовательского отдела и руководства им.
Исследователи не идеальны, но нашим партнёрам и не нужно, чтобы мы были идеальны. Им нужно, чтобы мы честно и в полной мере доносили до них мнение игроков, чтобы мы подталкивали себя к инновациям и риску, к признанию своих ошибок и адаптации к ним.
Урок 3: исследования и дизайн действуют на одном поле, но по разным правилам
Игроки могут судить только по собственному ощущениям: или по своему игровому опыту, или по тому, что видят прямо перед собой в лаборатории. Поскольку работа исследователя заключается в усилении голоса игроков, мы имеем те же ограничения. Наши пророчества истинны не более, чем то, на что реагируют игроки.
У дизайнеров нет такого ограничения. Они придумывают идеи, не имеющие или почти не имеющие ничего общего с тем, что было раньше. Из-за этого такие идеи может быть сложно тестировать и проверять их правильность. Существуют способы оценки новых идей, но как исследователи мы должны осознавать, что эти способы гораздо рискованнее, чем другие инструменты, и соизмерять свои выводы.
Забавно, что хороший контрпример презентации новых элементов геймплея понятным образом был продемонстрирован самой командой Bungie во время разработки Halo 2. Обсуждаемая в статье система матчмейкинга была только одной из частей гораздо более обширного списка многопользовательских функций, появившихся в Halo 2, и многие другие идеи встречались с таким же сопротивлением. Чтобы убедить скептичное руководство Microsoft, команда дизайнеров создала видеосимуляцию того, как будет выглядеть игра с друзьями в готовом продукте. Хоть это решение и не сработало бы с матчмейкингом, оно стал примером того, сколько усилий и выдумки требуется, чтобы передать видение нового игрового процесса.
Урок 4: совершение методологических ошибок и столкновение с их последствиями — лучший способ понимания структуры исследований
Разумеется, я знал о проблемах с предсказанием аффекта ещё до этого исследования. Но я всё равно позволил себе увлечься уверенным мнением участников о новой системе и воспринял их предсказания как факт. Единожды совершив такую ошибку и столкнувшись с её унизительными последствиями, я стал гораздо менее склонен к её повторению.
Конечно, запоминать принципы планирования качественного исследования правильно и хорошо, но ты никогда не почувствуешь их на своей шкуре, пока не нарушишь эти принципы и лично не столкнёшься с результатами. Не важно, нарушили ли вы правила намеренно, или частично были виноваты обстоятельства. Когда тебе приходится выбрасывать в ведро дни или недели упорной работы, то это оставляет напоминающие о себе шрамы. Выход за флажки может быть наилучшим способом понять, зачем эти флажки вообще нужны.
Но вы также обнаружите, что иногда… расплаты не наступает. Некоторые правила качественного исследования оказываются законами природы, а другие — всего лишь рекомендациями. Исследование пользователей игр — прикладная область, работы в ней ведутся с головокружительной скоростью, ограниченными ресурсами и в условиях неразберихи. Не каждое исследование станет жемчужиной планирования. Руководители подталкивают к изменениям в методике исследований, участники прогуливают встречи, оборудование ломается, и задача исследователя заключается в выборе способа адаптации к условиям с наименьшим уроном. Понимание того, какие принципы допускают гибкость, а какие нарушать нельзя, совершенствует нас как исследователей, позволяет адаптироваться и приносить максимальную пользу разработчикам и их играм.
В заключение
Инновации в дизайне требуют риска, и в этом случае риск, взятый на себя командой дизайнеров Bungie, многократно себя оправдал. Важная задача исследований пользователей в процессе разработки заключается в снижении этого дизайнерского риска. Исследования позволяют дизайнерам пробовать новое, в то же время обнаруживая и устраняя потенциальные проблемы до того, как они начнут мешать реальным игрокам. Но внутри своей профессии мы тоже идём на собственные небольшие риски, пользуясь личным мнением в выборе структуры исследований и в том, стоит ли бороться за решение выявленных проблем. В данном случае наш конкретный выбор не оправдал себя, но это не отменяет того факта, что исследовательские риски необходимы. Хороший исследователь всегда должен пользоваться своим опытом и чутьём для выбора подходящего уровня рисков, оптимально подходящего дизайнерам и идущего на пользу игрокам.
Выражаю особую благодарность Рэнди Пагулаяну за помощь в создании этой статьи и за смелость, позволившую ему разделить со мной это бремя публичного позора. Также благодарю Криса Батчера, Дэвида Кэндленда, Кёртиса Кримера, Макса Хобермана и Джейсона Джонса за то, что они помогли мне освежить в памяти эту историю и посоветовали, как её лучше изложить.
Об авторе: Джон Хопсон работает в игровой индустрии уже 16 лет. Он был ведущим исследователем в таких проектах и сериях игр, как Halo, Age of Empires, Destiny, World of Warcraft, Overwatch и Hearthstone. Он имеет докторскую степень по экспериментальной психологии Университета Дьюка, является автором множества статей по темам на пересечении психологии и игр, в том числе знаменитой «Behavioral Game Design». В настоящее время Джон работает главой отдела аналитики в ArenaNet. Выраженные в статье мнения не являются официальной позицией ArenaNet или её сотрудников.
Автор: PatientZero
