Классификация признаков транзакций в моделях поведенческого скоринга

В настоящей статье изложены выводу, к которым я пришел по результатам исследования датасета,  представленного АО «Альфа Банк» в рамках хакатона AlfaBattle 2.0 в декабре 2020 года.

Организатором Хакатона представлены данные о транзакциях по банковским картам в отношении 1.5 млн клиентов,  предоставивших впоследствии заявку на получение кредитной карты.  Задача Хакатона – построение модели бинарной классификации обеспечивающей предсказание дефолта по кредитной карте на основании транзакционных данных. 

Условия задачи представлены здесь

Данные о транзакциях представлены здесь

Настоящее исследование состоит из двух частей:

• в первой части будут описаны подходы к классификации моделей потребительского поведения,  а также признаков транзакций,  которые применимы для различных моделей  предсказания потребительского поведения;

• во второй части будет описано решение конкретной бизнес задачи  поведенческого скоринга,  /  предсказания дефолта по кредитной карте на основании данных о транзакциях по банковским картам, предшествовавших выдаче.

Часть 1. Классификация признаков  потребительского поведения

Виды потребительского поведения

Модели потребительского поведения можно классифицировать на 2 группы:

• поведение по привычке,

• поведение в изменениях.

Поведение по привычке -  это та часть наших действий   и   расходов, которая связана с обычными / ежедневными потребностями,  о которых мы не задумываемся  (покупаем продукты,  хозтовары,  ходим в кино, слушаем музыку).  Эти действия формируются под влиянием  уже сложившейся структуры нашей личности, обычаев и привычек.  Изменение состава потребляемых товаров и услуг несущественно и происходит неосознанно / в рутине в основном за счет внешних факторов (например:реклама, общественное мнение,  и т п.) .

Поведение в изменениях предполагает наличие (одного или нескольких) следующих  отличительных признаков:

• решение о покупке отражает либо  личное стремление  потребителя к изменению образа жизни (например:  покупка недвижимости), либо инструмент разрешения внутренней  кризисной си туации    (например:   решение о кредите),

• решение о покупке, как правило,  принимается редко / нерегулярно

• решение о покупке критически важно для потребителя,

• в ходе  подготовки к решению о покупке человек меняется в комплексе,  совершает необычные поступки  (например начинает себя баловать)  и  изменяет структуру расходов под новый образ жизни / нового себя.

  Модели потребительского поведения можно классифицировать на 2 основные группы:

  - поведение по привычке

  - поведение в изменениях

Модели привычек

При анализе моделей привычек мы сталкиваемся   регулярно повторяющимися  похожими действиями в отношении одной (или нескольких смежных) группы товаров / услуг,  которые рассматриваются как целое обособленная часть образа жизни, Все события окружающего мира,  происходящие и фиксируемые  одновременно с реализацией покупки - привычки, воспринимаются как контекст или ассоциативный ряд для исходного события. Способ осуществления покупки является неотьемлемой частью привычки, поэтому вопрос как и в каких условиях осуществлена покупка не менее важно, чем что куплено.

Для предсказания текущих расходов (по привычке)  достаточно видеть метрики в отношении отдельных (одной или нескольких) товарных групп, базовую модель можно построить на основании данных одной торговой точки или сайта. предметом исследования является каждая покупка / чек.

Для предсказания в рамках моделей привычек применимы простые статистические метрики для оценки вариативности обычного поведения,  а также ассоциативные правила / рекомендательные системы для предсказание перетока спроса между схожими товарными группами.

Модели изменений

Предсказание «необычных расходов»  основано на анализе «созревания»   потребителя,   как личности в целом / в комплексе,  до критически важного решения. Ключевым отличием данного типа моделей (предсказания) поведения является то, что мы предсказываем событие которое (как правило) никогда раньше не совершалось (или не размечалось) на основании прошлых качественно других / отличных событий в жизни этого клиента,  выступающих отдельными индикаторами изменений в поведениии - фичами модели.

Источниками информации для моделей изменений могут служить прежде всего:

• информация о фактически произведенных расходах (в наличии у обслуживающего банка / возможно процессингового центра);

• информация о посещенных интернет сайта (в наличии у интернет провайдера)  - является менее надежным источником информации, потому что отражает только намерения,  неясного уровня существенности.

Предметом исследования в данном случае будет структура расходов в целом по клиенту и динамика изменения такой структуры.

 О моделях привычек уже написано много, и алгоритмы работы рекомендательных систем хорошо исследованы и мне добавить нечего,  поэтому  остановимся на моделях изменений.

Конструирование признаков в моделях изменений

Исходные данные для модели предсказаний в составе данных о транзакциях по банковским картам.

 Ключевым показателем в любой модели описания поведения на основании транзакций будет цель и значимость платежа.  Использование mcc является весьма удобным инструментом классификации  вида потребительских расходов. классификация уже есть, описана весьма подробно и непротиворечиво и позволяет в целом сложить комплексную картину о потребительских предпочтениях индивида https://mcc-codes.ru/code.

В Моделях изменений способы осуществления (обстоятельства) покупок являются гораздо менее значимыми метриками,  отражающими текущий контур привычек, обычный социальный и платежный статус,  часто выступает дополнительным шумом.

Нормализация данных  в моделях изменений / удаление шумов

При анализе изменений при построении  моделей машинного обучения мы используем данные в целом по рынку / платежной системе.  Неизбежно столкновение с большим количеством абсолютно независимых участников наблюдений,  у каждого из которых набор потребительских предпочтений индивидуален. Структура потребления и размер доходов различаются по регионам и социальным группам.  Для повышения устойчивости модели и исключения шумов в настоящем исследовани предлагается  принять  за точку отсчета индивидуальную модель потребления по каждому индивиду, сумму и структуру покупок рассматриваем относительно его средней сложившейся модели потребления изучаем не саму модель поведения я типичные изменения от индивидуальной модели

Группировка событий по времени совершения

При определения актуальности платежа следует принимать во  внимание, что в отношении значительной части клиентов / индивидов справедливы утверждения:

• структура доходов и расходов в целом стабильна на интервале 1 месяца (30-31 любых последовательных дней по календарю)

• структура (совсем обычных) расходов на быт и питание условно стабильна еженедельно /  на интервале 7 последовательных дней по календарю

Значит агрегирование расходов на месяц или неделю (в зависимости от целей исследования) способно сгладить динамические  различия в структуре расходов, при наименьших потерях в качестве модели.

Вопрос актуальности платежа во многом зависит от цели исследования, чем значимее изменение ,тем  больший период анализа необходимо включать в исследование. Так, например,  предполагаю, что для анализа решения о предстоящем получении ипотечного кредита период для анализа может достигать 12-18 месяцев,  для решения о получении кредитной карты - 1-3 месяца.

Обстоятельства платежа:

• важны для моделей предсказания действия, аналогичного многократно повторявшимся действиям в прошлом;

• (часто) являются шумом для предсказания действий, которые ранее никогда не совершались (или аналогичные по типу действия невозможно идентифицировать в датасете).

Поэтому признаки обстоятельств платежа в моделях изменений могут быть использованы при условии, что значения таких признаков следует:

• агрегировать  в логике, отличной от описанной выше;

• обособить в отдельную модель, используемую для предсказания в рамках ансамбля моделей

На основании представленных доводов в качестве ключевых метрик, описывающих модели изменений  представлены следующие показатели:

Показатель № 1:

 Показатель № 2:

При использовании показателя, в отношении каждого категориального признака каждого участника наблюдений мы получаем:

• за отчетный период – коэффициент значимости каждого вида расходов, взвешенный кобычной значимости этой статьи для конкретного клиента,

• за последовательность периодов – изменение значимости по виду расходов «вокруг единицы» / средней,

• в целом по клиенту за последовательность периодов  -  комплексную нормированную картину / матрицу изменения потребительских предпочтений.

Такие матрицы гораздо проще классифицировать  и выявлять закономерности потому, что в них не содержится индивидуальных моделей поведения, а содержится только показатели отклонений в поведении индивида от его обычного  и привычного образа.

Преимуществами представлелнных метрик  являются:

• метрика способна прямо или косвенно описать любое изменение в потребительских предпочтениях индивида на верхнем уровне анализа;

• метрика исключает шумы, образующиеся за счет различий в потребительском поведении и платежном статусе многих индивидуальных потребителей;

• классификатор целей расходов уже написан, практически используется, данные размеченные по классификатору уже есть в учетных системах банковский карт за длительный период в прошлом

Представленной метрики вполне достаточно для описания простых классификационных моделей потребительского поведения, выявления заведомо неадекватных действий клиента (например в моделях поведенческого кредитного скоринга), что подтверждается в части 2 настоящего исследования.

 В случае более сложных предсказаний (наример в моделях предсказазания следующей крупной покупки) представленная метрика будет работать с учетом ряда оговорок.  

Например, при предсказании следующей покупки автомобиля, необходимо учитывать, что покупка первого автомобиля в семье представляет собой классическую модель изменения образа жизни / модель изменений,  а  покупка автомобиля каждые 3 – 5 лет  (взамен роданного старого)  есть обычное предсказуемое решение, подтверждающее сложившиеся привычки,в случае первого автомобиля   представленная метрика будет работать много лучше, во втором случае  (подозреваю),  что потребуются дополнительные признаки, например:

• временной ряд по долям  расходов на АЗС  и техническое обслуживание автомобиля в структуре расходов клиента за несколько лет с поправкой на сезонность (из той же базы данных транзакций),

• временной ряд по долям расходов на обслуживание автокредитов (по данным Бюро Кредитных Историй)  в структуре расходов / индикаторы по событиям - досрочные погашения по автокредитам, поступление  выплат по автострахоанию и т п.

При этом состав целевых метрик по каждому типу прогнозируемой покупки может существенно различаться.

 Использование представленного подхода к конструированию признаков позволило повысить точность предсказания в моделя поведенческого кредитного скоринга с 78,6  до 97+% ,

но об этом уже в части 2.

Часть 2. Поведенческий скоринг: предсказание дефолта по кредитным картам исходя из истории транзакций

Далее будет описано решение задачи,  представленной  "Альфа Банк" АО в рамках открытого чемпионата по анализу данных AlfaBattle 2.0 проводимого на сайте Boosters.pro.   Разработка модели машинного обучения, для сопровождения предодобренного решения о выдаче кредитной карты на основании истории транзакций по счетам.

Кредитная карта – продукт, подразумевающий возможность Клиента:

• быстро получить небольшую сумму денег (1-3 среднемесячных дохода),

• без контроля потратить,

• не гасить тело кредита достаточно долго (только при нарушении грейс периода).

Решение о необходимости / возможности получения кредитной карты  у Клиента (как правило) стихийно и формируется относительно быстро (это не ипотека).

Существующие базовые скоринг модели, сопровождающие решение Банка о возможности выдачи кредитной карты  основаны на статичных метриках: социальных (пол, возраст, семейное положение и т д), метриках кредитной истории (продолжительность просрочки в прошлом, сумма кредитной нагрузки), а также метриках дохода. Все эти метрики сформированы давно, обновляются медленно и не применимы для описания быстрых / порой стихийных / мотивов в поведении.

Согласно модели классификации, описанной в части 1 настоящей статьи задача поведенческого скоринга представляет собой классическую модель изменений,  то есть по данным датасета / существу целевой метрики:

• мы не можем определить осуществлял ли в прошлом клиент запрос на кредитную карту и при каких (сопутствующих)  обстоятельствах это происходило;

• событие – Заявка на кредитную карту – предсатвляет собой отражение запроса на следующее неизвестное платежное событие типа крупная покупка,  погашение долга,  погашение кассового разрыва когда нибудь в будущем или что то подобное

  В основу  решения я положил следующую гипотезу:

Возникновения просрочки по кредитной карте на горизонте 6-12 месяцев связано, как правило (по опыту) с событиями следующего типа

• стихийно возникший спрос на следующую покупку в потоке покупок (пример: начал ремонт – не хватило)  или иррациональном поведении (хочу эту штуку прямо сейчас так, что кушать не могу) или  срочное погашение долга или иное чрезвычайное событие, требующее срочно потратить деньги.  В любом из этих случаев поведение Заёмщика последние 2-3 недели может отличаться от типичной / сложившейся модели потребления.

• структура расходов / потребления  последние недели перед заявкой на кредит условно стабильна и и не отличается от средней / сложившейся по Заёмщику (что видно по истории транзакций по банковской карте),  значит кредитая карта нужна «впрок»,  на всякий случай,  использование карты предполагается только на период «кассовых разрывов»,  Заёмщик планово впишется в грейс период и вероятность просрочки в ближайшие месяцы минимальна.

 Cоответственно из всех признаков датасета я использовал в решении только данные:

• Цель платежа (mcc);

• Давность платежа – период с даты транзакции до даты заявки на кредит (days_before)

• Сумма платежа (amnt)

 Часть транзакций признана незначимыми и исключена из анализа, а именно:

1. по времени:

   транзакции, совершеннные ранее чем за 91 день (3 месяца) до заявки на кредитную карту (days_before > 91) - исключены из анализа полностью

   транзакции, совершенные за период с 31 по 91 день до заявки на кредитную карту использованы только для расчета среднего (сложившегося, характерного) уровня расходов клиента

2. по виду платежа (Income_flag):

• транзакции зачисления на карту,

• информационные запросы по карте

Все иные признаки транзакций в составе модели не рассматривались.

 Исходя из представленных гипотез построены 2 модели прогноза:

 1.      В отношении каждого из Заёмщиков

по каждой из целей расходования средств по банковской карте (mcccode)

рассчитан показатель :

В выборку наблюдений не попали клиенты,  не осуществлявшие банковских операций последние 3 месяца перед заявкой на кредитную карту (нет информации для анализа)

 Итого 108 фичей (количество возможных значений по категориальному признаку – mcc-code), каждое из рассчитанных значений находится в интервале от 0 до 3,  все шумы и выбросы сглажены в расчете базовой метрики.

Данная метрика предполагает следующие инструменты устранения ключевых шумов в данных:

различия в наблюдениях обусловленные разницей социального, имущественного статуса субъектов, а также обычаев и привычек потребительского поведения устранены за счет того, что в составе метрики производится сравнение последних образцов поведения индивида по отношению к его обычному / средне сложившемуся поведению

различия в наблюдениях, обусловленные индивидуальной динамикой событий покупок исключены за счет агрегирования наблюдений до периода в 30 дней, наиболее характерного / типичного периода получения и расходования денежных средств.

 Результат предсказания моделей с учетом представленных метрик:

2.   В отношении каждого из Заёмщиков рассчитаны  показатели :

 Показатель № 1:

Показатель № 2:

Показатель № 3:

 Результат предсказания моделей с учетом представленных метрик:

В ходе рещения столкнулся со следующей проблемой.

Модель обученная на транзакциях первого квартиля (по хронологии) наблюдений train - выборки хорошо работает / дает хорошую точность предсказаний на данных 2, 3 и 4 квартиля наблюдений train выборки, то есть внутри train

Модель обученная на данных датасета в целом (train выборка в полном объеме)  не показала результата на тестовой выборке, смещенной на 6 месяцев вперед и предоставленной организаторами Хакатона.

По заявленным условиям чемпионата, тестовая выборка смещена от train на 6 месяцев вперед, относительно последней записи train выборки.

В случае, если данные train и test были бы сопоставимы полностью, логично предположить, что модель, обученная на данных последнего месяца наблюдений train выборки покажет приемлемый результат на первых записях testa. Условия чемпионата не позволяют проверить качество работы модели, обученной на последнем месяце train выборки применительно к первому месяцу наблюдений testa, чтобы полностью проверить выводы о стабильности работы модели на коротких горизонтах предсказания. Гипотеза не подтверждена.

Объяснение не найдено, мои предположения:

• представленная модель не работает на предсказания свыше 6 месяцев вперед, ввиду того, что учитывает только текущее ситуативное состояние платежного статуса Клиента / Заёмщика;

• алгоритмы искажения тестовых данных, используемые для адаптации бизнес задачи к условиям чемпионата не подразумевали возможность применения сложных преобразований по полю сумма транзакции (сдвиг структуры покупок к средней)

Считаю, что представленные модели могут быть использованы только в отношении клиентов, по которым в наличии информация о структуре платежей по карте за последние 3 месяца перед заявкой на кредит(проводящих регулярно расходные операции).Если такое условие не соблюдено и клиент перестал пользоваться картой, то точность модели снижается вследствие 2 ключевых факторов:

• устаревание исходных данных для построения модели;

• возникновение новых изменений в структуре поведения, которые реализовались, но о которых модели не известно.

Модель не работает на предсказания с горизонтом планирования выше 3-6 месяцев. Такое условие легко зашиваются в условия продукта / порядок выдачи предварительно одобренных банковскийх карт.

Высокая точность модели (по сравнению с решениями аналогами) обеспечена за счет применения только тех признаков датасета, которые на основании практического опыта работы с просрочкой наиболее точно описывают типовые паттерны поведения в рамках мошеннических действий с банковскими картами.

В рамках отбора признаков модели устранено прямое сопоставление абсолютных метрик отдельных клиентов / транзакций клиентов в пользу универсальных метрик, нормироваанных к средней сумме расходов каждого из клиентов. В случае, если этого не сделать и сравнить структуру платежей отдельных клиентов в абсолютных суммах, то по сути в содержание признаков добавится содержание различий клиентов по уровню дохода и структуре потребления (количество таких особенностей неисчислимо) - признаков, которые прямо или косвенно содержатся в характеристиках каждой транзакции, но не объясняют целевую переменную.

Коллеги,  я понимаю, что представленное решение значительно отличается от существующих бейзлайнов и может содержать ошибки как в логике конструирования признаков,  так и в методологии построения модели.

Предлагаю к обсуждению представленный ноутбук,  со всеми расчетами и комментариями по использованным методам решения.

Готов  ответить на любые Ваши вопросы, признать все свои ошибки, если таковые будут найдены, и ... копать глубже.