Как «простой эксперимент» принёс Обаме 60 миллионов долларов [перевод]

21 октября 2010 года президент Барак Обама посетил Пало-Альто. Для привлечения денег на его предвыборную кампанию был организован званый ужин, стоимость участия в котором составляла 30 400 $. Это крайне эффективный метод привлечения средств, правда он может сработать только в том случае, если вы имеете возможность пригласить к себе президента. Как же привлечь средства, если у вас есть только веб-сайт, который не видел никто, кроме вашей бабушки? Именно в такой ситуации мы оказались в далеком 2007 году, когда Обама выдвигался в президенты, а отставание от ближайшего конкурента выражалось двузначным числом процентов.

В 2008 году, работая директором аналитического отдела администрации Обамы, в мои обязанности входило принятие решений, основанных на анализе данных. Мы начали с одного простого эксперимента в декабре 2007 года. На основе этого эксперимента нам был сделан вывод, что каждый посетитель нашего сайта был уникальной «возможностью для привлечения средств» и, что более важно, воспользовавшись этой «возможностью», путём оптимизации и A/B тестирования, мы могли привлечь десятки миллионов долларов.

Этот эксперимент тестировал два блока нашего сайта: блок с картинкой и видеороликом (Media section) и блок с кнопкой (Call-to-action).

Для эксперимента мы использовали Google Website Optimizer и провели полный факторный многомерный тест. Простыми словами, мы протестировали все комбинации кнопок и медиа-контента. У нас было 4 варианта кнопок, 3 картинки и 3 видеоролика, что означало 24 (4 * 6) комбинации для теста. Каждому посетителю посадочной страницы случайным образом демонстрировалась одна из комбинаций, а мы в свою очередь отслеживали количество посетителей, оставивших свой e-mail.

Перед тем, как вы увидите результаты, попробуйте предположить какая кнопка и медиа-контент по вашему мнению оказались наиболее успешными?

Результаты

Метрикой, которую мы использовали для измерения успешности эксперимента, был темп получения подписок. Если быть точнее, то это количество подписавшихся людей, разделенное на количество людей, увидевших определенный вариант страницы. Так как в общей сложности за время эксперимента на посадочную страницу зашло 310 382 посетителя, то это означает, что каждый вариант увидело примерно по 13 000 человек.

Вот такие значения мы наблюдали для каждого из вариантов посадочной страницы:

А такие значения мы наблюдали при оценке комбинаций различных вариантов:

Победитель

Наилучшей комбинацией кнопки и медиа-контента стала «Combination 11», которая состояла из кнопки «Learn more» и фотографии семьи:

До того, как мы запустили эксперимент, люди, работающие над кампанией, предпочитали «Sam’s Video» (последнее в списке слайд-шоу выше). Если бы мы не запустили эксперимент, мы бы, скорее всего, поставили именно это видео на нашу посадочную страницу. В итоге такая мелочь могла бы стать роковой ошибкой, ведь как оказалось, любой из видеороликов влияет на конверсию слабее, чем любое изображение.

11,6% — именно такая конверсия в подписки была у победившего варианта, в отличие от 8,26% конверсии оригинальной страницы. Тем самым нам удалось получить на 40,6% подписей больше. Давайте попробуем понять откуда взялась эта цифра. Если считать, что это улучшение сохранит эффект на протяжении всей кампании, то позже, ближе к окончанию мы сможем оценить итоговые цифры и определить изменения, к которым привел именно этот эксперимент. Грубо говоря 10 миллионов человек подписались на посадочной странице за время кампании. Если бы мы не запустили этот эксперимент и просто оставили оригинальную страницу, то это число было бы около 7,1 миллионов человек. А это меньше на целых 2,9 миллиона электронных адресов.

Отправка электронных писем людям, которые оставили свою почту с предложением стать волонтерами, позволило привлечь 10% из них. В итоге получается, что нам удалось привлечь из 2 880 000 электронных адресов 288 000 волонтёров, а это намного больше, чем планировалось изначально. В среднем, каждый электронный адрес, который был получен с помощью нашей посадочной страницы пожертвовал по 21 доллару за всё время кампании. Итого дополнительные 2 880 000 электронных адресов из нашего списка вылились в дополнительные 60$ миллионов пожертвований.

Полученные знания

1. Каждый посетитель вашего веб-сайта — это возможность. Не упустите эту возможность, используйте оптимизацию и А/B тестирование, это даст вам дополнительное преимущество.
2. Проверяйте предположения. Всем участникам кампании нравились видеоролики. Но в итоге видео сработало хуже, чем картинки. Мы бы никогда не узнали об этом, если бы не проверяли наши предположения.
3. Экспериментируйте на ранней стадии, экспериментируйте чаще. Мы запустили эксперимент в декабре 2007, а пользу он приносил вплоть до конца президентской кампании. Так как первый эксперимент был настолько эффективен, то мы продолжили аналогичное экспериментирование на всем сайте в течение всей кампании.

Перевод осуществлен сотрудниками проекта Generate.club — первый сервис в России по оптимизации посадочных страниц в автоматическом режиме. Будем рады ответить на все ваши вопросы.

P.S. Статья является переводом истории о помощи A/B тестирования в предвыборной кампании Барака Обамы. К сожалению, из-за непонятного бага Хабры, возможности указать это при создании публикации не оказалось. Приносим извинения за путаницу!

Автор: alexeyli44

Источник