В конце прошлого года я писал на Хабре, какие существуют решения на рынке антифрода, и проводил сравнительный анализ некоторых из них. Тогда речь шла о системах, направленных именно на задачу обнаружения фрода в трафике. Сегодня хочу поделиться своим небольшим исследованием, как с фродом борются сами клиентские трекеры. Рассмотрю основные: Appsflyer, Adjust, Kochava, TMC Attribution Analytics (ex. MAT), AppMetrica.
Я расскажу, какие типы фрода определяет (или не определяет) трекер, как происходит сам анализ, насколько он эффективен, а также предоставлю для ознакомления ссылки самих трекеров с описанием антифрод-системы.
Сразу оговорюсь, что в данной статье я не сравниваю удобство самих трекеров и их качество — речь пойдет исключительно о встроенных в них антифрод-решениях.
Appsflyer
С Appsflyer мы работаем часто, их новинки не обходят нас стороной. Не так давно коллеги выпустили собственную систему защиты от фрода, с помощью которой можно обнаружить некачественный трафик и изучить каждый из источников.
Основной тезис Appsflyer в том, что у них есть огромная база IP и устройств, каждый из которых имеет собственную метку качества. То есть, если ранее определенное устройство заметили в подозрительной активности, то и установка по нему будет маркироваться как фродовая. Также, наличие самой базы позволяет узнавать количество новых устройств по каждому из источников. Если их слишком много, то Appsflyer считает это поводом подозревать источник в «создании» новых девайсов — по сути, в использовании эмуляторов.
Каждому из устройств присваивается собственный рейтинг: мошенническим девайсам присваивается оценка «C», подозрительным «B», новым устройствам «N» и т.д., в зависимости от уникальности взаимодействия настоящего живого пользователя с устройством, которое получает рейтинг «A», «AA» или «AAA». Устройства с оценкой «C» автоматически исключаются из списков атрибутируемых установок и аналитики AppsFlyer, то есть по ним не идет постбеков как таковых.
На скриншоте можно увидеть разбивку по источникам трафика и метрики антифрода —процент новых девайсов, лояльных пользователей, установок с устройств типа B и чистых конверсий
По факту все не так просто. Громкие цифры в 98% известных Appsflyer устройств в том числе российского рынка могут быть не доскональными. По данным Gartner и IDC каждый квартал появляется около 350 тысяч новых девайсов. Не думаю, что Appsflyer способен уследить за каждым из них. Поэтому целиком полагаться на их БД не слишком разумно.
Впрочем, они и сами говорят, что метка фродовости — просто повод для дополнительной экспертизы. Также, рекомендуют обращать внимание на метрику «Лояльные Пользователи». Если она сильно ниже по другим источникам в сочетании с большим процентом новых девайсов, то следует изучить источник трафика.
Докажу на практике. Я столкнулся с кейсом, когда клиент, использующий Appsflyer, начал беспокоиться из-за числа новых устройств по одному из партнеров. Однако, при расспросе партнера, доскональном изучении источника его трафика и анализе с помощью дополнительной антифрод-системы выяснилось, что партнер распространяет оффер-волы на новых китайских устройствах, заключив договор с магазином, торгующим этими устройствами. То есть трафик был абсолютно нормальным и чистым, но Appsflyer посчитал его подозрительным. С другой стороны, данный трафик мог быть как раз-таки мошенническим, поэтому метка подозрительности AppsFlyer помогает изучать сложные случаи и выявлять партнеров с необычным трафиком. Либо же обнаружить реальный фрод. Поэтому использовать эту систему полезно, однако стоит быть крайне осторожным.
Вывод: 4 из 5. Можно ориентироваться на их метрики при собственном тщательном анализе, к тому же, продвинутый антифрод уже включен в расширенный аккаунт AF и не требует оплаты.
Adjust
Adjust предоставляет два инструмента борьбы с фродом в своем продукте. Первый, довольно стандартный, проверяет наличие IP в базе данных VPN и помечает конверсии со скрытым IP. В качестве защиты от прокси вполне подходит, свою работу выполняет. Но если прокси в базу не попал изначально, или фродер использует новые серверы, есть риск упустить мошенническую конверсию. Такие случаи, к сожалению, далеко не редкость.
Второй инструмент — анализатор клик-спама. Adjust — единственные, кто занимается подобным анализом, поэтому сравнивать особо не с чем. Способ проверки — изучение количества одинаковых кликов из одного источника и сравнение разницы между временем клика и конверсии с условным средним числом. Скажем так, сама идея анализировать трафик подобным образом весьма интересна, но ту же самую «норму» по времени выбрать не так просто. Существует вероятность ложного срабатывания, если произошло какое-то отклонение, например, человек просто забыл запустить скачанное приложение или намеренно отложил его запуск до того момента, как оно ему понадобится.
В общем, опять же, требуется изучать каждый случай такого срабатывания, чтобы достичь максимальной точности, иначе рискуете потерять адекватный источник, ложно обвиненный во фроде.
Есть еще третий инструмент — валидатор покупок, который проверяет валидность покупки, сверяя данные с информацией от стора, однако его мы, как агентство, оценить не можем.
В статистике антифрода можно сразу увидеть, в чем именно подозревается конверсия: AIP говорит о подозрительном или скрытом IP, TME — о слишком большом количестве одинаковых кликов, а DO — о странном времени между кликом и установкой. На скриншоте — один из “подозреваемых”
Оценка: 4,5 из 5. Пока никто другой не занимается подобным анализом, поэтому можно использовать инструмент Adjust’а в качестве рекомендаций для изучения аномалий трафика. Однако, нужно понимать, что встроенный инструмент не сделает за вас всей работы, поэтому не стоит целиком и полностью полагаться на него.
Также, к плюсам можно отнести применение антифрода к ретаргетинговым кампаниям. Из нашего опыта, Adjust справляется весьма хорошо, поэтому для подобных целей его можно однозначно положительно отметить среди остальных.
AppMetrica
В AppMetrica никаких встроенных инструментов антифрода нет, вот так все просто. Но достойно упоминания то, что коллеги решили не изобретать собственный велосипед, а провели интеграцию с продуктом FraudScore, сторонним инспектором трафика, о котором я подробно рассказывал в предыдущей статье про мобильный фрод.
Решение достойно уважения: зачем пытаться делать что-то, что другие делают гораздо лучше, разумнее делегировать это заслуженным лидерам.
Оценка для Appmetrica: без оценки.
Оценка для FraudScore: 5 из 5 — об этой системе я уже писал, но ее можно спокойно подключить и без использования AppMetrica.
TMC Attribution Analytics (ex. MAT)
В системе TMC есть различные инструменты антифрод-аналитики.
Первый автоматически блокирует все конверсии, по которым есть аномалии (установки с одного Device ID дублируются, покупки в приложении сэмулированы и не совпадают с данными стора). Также есть 2 критерия, которые можно произвольно отключить — Jailbroken devices и максимум IP для одного Fingerprint. По сути, система справедлива — большинство критериев однозначны для фрода и отключать их нет смысла, а то, что может зависеть от пожеланий клиентам можно выключить.
Помимо этого, присутствует отчет по времени между кликом и установкой. Он никак не блокирует отправку постбеков, но по нему удобно искать аномалии самостоятельно. Покупки в приложении также можно проверить на фродовость, однако данную функциональность мы никак не можем протестировать со стороны агентства, поэтому ее я не стану включать в оценку.
Наконец, в системе представлена возможность формировать собственные «черные списки» — выставлять подходящее окно атрибуции (сколько дней может пройти со времени клика), блокировать саб-партнеров, модели устройств, страны.
Это не тянет на полноценный антифрод, однако иметь возможность кастомизировать трекинг на таком уровне — однозначно приятно.
Разбивка конверсий, не прошедших оценку качества — указан партнер, время и повод для подозрений
Вывод: 3,5 из 5. Нет слишком жестких критериев, есть кастомизация и инструменты для анализа. Можно порекомендовать как адекватное решение при наличии собственных аналитиков на вашей стороне.
Kochava
На практике мне не доводилось иметь дела с антифродом Кочавы, однако в их статье довольно неплохо описано, как можно самостоятельно находить фрод и на какие критерии смотреть. Трекер практически не берет эту работу на себя, однако подробно рассказывает клиенту, как можно вычислить подозрительный трафик.
Есть, правда, Trafic Verifier — небольшая утилита, которая по сути выполняет задачу трекинговой системы — ограничивает ГЕО, ОС и типы устройств. Дополнительная функция Frequency Capping выступает в роли инструмента, ограничивающего количество кликов с определенного IP и прочего за выбранный промежуток времени. Также, можно провести анализ What-If по трафику, который уже есть в статистике.
Из других решений — Kochava Blacklist — по сути, глобальный фильтр трафика, помечающий неподходящий по критериям: количества кликов с одного устройства и IP и разницы между кликом и установкой.
Как и было сказано выше — у меня не было возможности проверить его в деле, однако выставлять общие фильтры на все, не учитывая специфики приложения и трафика — идея далеко не рациональная.
Вывод: 2,5 из 5. Инструкция и инструмент хороший, но по факту трекер почти не выполняет функцию антифрода, лишь дает возможность управлять трафиком и пищу для размышлений о его качестве.
Результаты
Из всего вышеозвученного можно сделать вывод: на данный момент ни один из трекеров не выполнит полностью задачу определения фрода.
Трекеры, реализующие антифрод-решения, однозначно молодцы, так как раньше ничего подобного не существовало. Теперь же трекер может существенно облегчить задачу обнаружения фрода. Однако выносить решение о реджекте трафика, исходя исключительно из рекомендаций трекера, не общаясь с партнером и не изучая всевозможные метрики самостоятельно — проигрышная стратегия в долгосрочной перспективе.
Надеемся, что в будущем коллеги из систем трекинга не станут снижать темпы развития собственных антифрод-решений, сделав их досконально точными.
А пока выбирайте тот трекер, который вам больше всего подходит, обучайте собственных аналитиков для поиска аномалий и выбирайте партнеров, которые готовы к диалогу и внутреннему анализу — как, например, это делаем мы в Mobio.
Автор: Virtus_in_medio
