Исследования удовлетворённости клиентов чрезвычайно распространены. Каждый раз, когда вы посещаете банк, отправляете запрос интернет-поставщику, отправляетесь в поездку или нанимаете фрилансера для какой-то задачи, вы затем с железной последовательностью получаете запросы по электронной почте с предложением оценить взаимодействие.
На первый взгляд, это хорошая идея. Учитывая практическую вездесущность интернета и электронной почты в сочетании с низкой стоимостью отправки этих писем, возможность понять суть дела «изнутри», которую ваша фирма может получить от клиентов, — что может не нравиться в этой практике?
Обратная связь «магазин/наём -> оценка -> вознаграждение» стала просто неотъемлемой частью некоторых систем. Многие интерактивные торговые площадки включают эти операции обратной связи в рейтинги, которые затем становятся оценкой, влияющей на перспективы оцениваемой персоны.
И вот здесь-то и начинаются проблемы.
Имеется точка, где этот подход перестаёт быть полезным и прямые эффекты системы оценки, основанной на результатах обратной связи, становятся контрпродуктивными. Такой точкой является ситуация, когда рейтинг становится целью.
Когда какая-то компания провозглашает: «Все рейтинги обратной связи от клиента должны быть как минимум X, иначе...», — то компания таким образом начинает процесс аннулирования и разрушения всей полезной информации, которую можно было бы получить из этого процесса обратной связи / обследования.
Формулировкой этой концепции является «закон Гудхарта» (по имени экономиста Чарльза Гудхарта), который, по сути, утверждает, что «когда результат измерения становится целью, измерение становится бесполезным». Он имел в виду экономический контекст, критикуя попытки Маргарет Тэтчер стимулировать экономику с помощью измерений, для чего устанавливались целевые показатели в денежно-кредитной политике (звучит знакомо? Это именно то, что «управляемая данными» Федеральная резервная система США делала в течение почти 10 последних лет). Это то, что суперинвестор Ховард Маркс описал подробно в главе «Мышление второго порядка» в своей книге «Самое главное».
Закон Гудхарта, в общем случае, относится к области «непредвиденных последствий»:
«Наиболее известными примерами действия закона Гудхарта были предприятия Советского Союза, которые, когда им ставили цель в виде количества гвоздей, производили множество крошечных бесполезных гвоздей, а при цели, сформулированной как вес, выпускали немного громадных гвоздей. Количество и вес хорошо коррелировали в сценарии центрального плана. После того как они были сделаны целями (в различное время и на различные периоды), они теряли эту ценность.»
Эта выдержка взята из статьи-рассмотрения данного феномена, в которой автор формулирует закон Гудхарта как: «Люди и учреждения пытаются достичь своих точно поставленных целей самым простым возможным способом, часто соблюдая только формальные нормы закона», — и даёт отличный пример получаемого результата в своей работе «Угадать ключевое слово учителя»:
«Предположите, что учитель ставит перед вами мудрёную задачку, в условии которой металлическая пластина расположена рядом с радиатором и её дальняя сторона теплее, чем сторона рядом с радиатором. Учитель спрашивает: „Почему?“. Если вы скажете: „Я не знаю“, — у вас не будет никаких шансов на приз; более того, вы не будете отмечены хотя бы как активный участник урока. Но в текущем семестре этот учитель неоднократно использовал фразы „благодаря тепловой конвекции“, „благодаря теплопроводности“ и „благодаря тепловому излучению“. Одна из них, возможно, и есть та, которую желает услышать учитель. Вы говорите: „Ну, может быть, благодаря теплопроводности?“.
Это не гипотеза относительно металлической пластины.
Это даже не является какой-то догадкой в полном смысле. Это просто попытка угадать ключевое слово учителя.»
И это то, что происходит в массовом порядке, как только результаты обратной связи превращаются в рейтинги, которые затем становятся целями.
Когда этот процесс проходит до конца в системах обратной связи и рейтингов, та же динамика начинает действовать и в работе. Вместо данных, несущих полезную информацию, которая может быть использована для улучшения взаимодействия с клиентами, рейтинги становятся целью сами по себе, и тогда они теряют свою полезность. Участники направляют свои усилия на оптимизацию фактических рейтинговых ответов, а не основополагающих действий, для которых и была построена система измерения.
«Я удовлетворительно справился с причиной, по которой вы сегодня позвонили, г-н Йеслович?»
«Да, спасибо.»
«Тогда вы сможете дать мне наивысшую оценку, если компания выберет вас для нашего исследования удовлетворённости клиентов?»
«Э-э, хорошо, думаю, да.»
Не знаю, как вам, но мне всегда неловко при таком разговоре. Если не внешне, то в душе. Весь разговор построен в выпрашивающей/умоляющей конструкции, которая, если она делает неловкой ситуацию для меня, должна быть, — по крайней мере, подсознательно, — многократно унизительнее для человека, средства к существованию которого зависят от моей оценки 10/10 в каком-то исследовании. Это изменяет природу и настрой разговора, выводя его из полезной сферы, где я чувствовал бы себя достаточно комфортно, чтобы передать полезную информацию.
Пример: я оценил моё общение в 8 баллов из 10-ти, потому что…
- Робот сообщил мне, что время ожидания составит 3 минуты, а я ждал 7 с половиной.
- Агент был вежлив, но не знал версию прошивки моего изделия.
Такая обратная связь содержит полезную информацию.
Действительность:
«Теперь всё в порядке, г-н Йефтович?»
«Да, спасибо».
«Замечательно. Послушайте, когда будет опрос, мне нужно, чтобы вы дали мне 10 из 10, иначе мне будет фигово, ОК?»
«Конечно, нет проблем».
И вот я даю оценку качества обслуживания клиента:
10/10.
Количество полезной информации, поступившей в компанию: ноль.
Что происходило, когда я пытался искренне, из идейных побуждений честно оценить качество моего обслуживания?
Я столкнулся с настоящим преследованием, воем, различными оттенками драмы и истерии, когда сделал это в контексте интерактивной торговой площадки открытого рынка. У меня был такой плохой опыт взаимодействия на торговых площадках, когда я оставлял искренне написанные отзывы, что я теперь обычно пишу в моих спецификациях работы: «Любая попытка повлиять на мою оценку в обратной связи приведёт к снижению баллов». Это, на самом деле, ведёт к снижению количества заявок, которые я получаю на какую-либо конкретную работу, но я считаю, что благодаря этому приму на работу людей, в конечном счёте, более высокого уровня.
Боже упаси от того, что случится, если я оставлю искреннюю оценку в сценарии корпоративной обратной связи.
Действительно, на этой неделе мне подвернулся случай оценить технического специалиста, который, как я почувствовал, был чертовски хорош. Он просто поразил меня. Он работал в большой бестолковой корпорации и прекрасно разбирался в моей проблеме. Он задержался после работы (и не потребовал платы за это), пока моя работа не была сделана, и привёл всё в порядок.
Он был настолько хорош, что я даже решил позвонить в эту компанию, чтобы убедиться, знает ли его руководитель, насколько великолепен этот специалист. Затем состоялся онлайн-опрос, и я сделал то, что сделал бы любой нормальный человек, который был совершенно восхищён специалистом, сделавшим значительно больше ожидаемого, чтобы исправить ситуацию, запутанную сначала компанией; я оценил качество обслуживания 9-ю баллами из 10.
Это хорошо и правильно? Нет. На самом деле, как я узнал позже, 9/10 — требуемый рейтинг для таких специалистов, который необходимо получить на опросе обратной связи, чтобы не провалиться. Он представляет собой абсолютный минимум. Парень был новичком на этой работе, и поэтому ничего не сказал мне. Он ещё не усвоил установленный порядок, чтобы попросить меня «когда будет опрос, мне нужно, чтобы вы дали мне 10 из 10, ОК?».
Логика (или её отсутствие), действующая в компании с рейтинговой системой обратной связи, в которой минимальное количество баллов, требуемое для «прохождения» сотрудника, составляет 9 из 10, просто нелепа. Здесь нет места для полезной информации. Это логика из придуманного американским писателем Гаррисоном Кейллором «типичного» городка Лейк-Уобигон в Миннесоте, «в котором все женщины сильны, все мужчины хорошо выглядят, а все дети развиты выше среднего».
Вернёмся к закону Гудхарта. Если вы желаете иметь честную обратную связь от ваших клиентов, иметь материал, который можно использовать для совершенствования бизнес-процессов и улучшения дел, то необходимо отделить эти результаты обратной связи от выставления оценок сотрудникам.
Ваши сотрудники будут обслуживать клиентов более прилежно, если они не будут беспокоиться об извлечении 10 из 10 на последующем опросе.
Ваши клиенты будут предоставлять более честную, точную и полезную информацию, если они не будут беспокоиться, что их мнение приведёт к нежелательным мерам в отношении неудачливого сотрудника.
Это может показаться противоречащим интуиции, но связывание баллов сотрудника или — ещё хуже — связывание оплаты с этими механизмами обратной связи сродни старой шутке: «Избиения будут продолжаться, пока боевой дух не улучшится».
Вы не получите ничего ценного из тех опросов, кроме довольно сомнительной иерархии, кто является лучшим при умасливании ваших клиентов участвовать в манипулируемой и бесполезной обратной связи. В этом смысле такая процедура может быть полезной для определения будущего генерального директора компании, но за пределами этого она даёт только информационный шум.
Автор: LukinB
