Как обсчитать когортный анализ в 9 шагов

Когортный анализ — это метод исследования поведения пользователей в динамике по какому-либо параметру. Для исследования пользователей объединяют несколько групп — когорт — по нужному параметру.

Типичны пример параметра для объединения когорт — первое действие. Например, первый заход на сайт, первая покупка, первый пост. По значениям выбранного параметра, разбитым на интервалы и формируется когорта. Например, для "первого действия" делается разбитие на временные - день, неделя, месяц или просто 30 дней. Далее отдельно анализируются пользователи из каждой когорты. Сравнение поведенческих или других показателей из разных когорт и выявление лучших/худших по какому-либо критерию и есть суть когортного анализа.

Алгоритм обсчета когортного анализа

1 Построить из исходного датасета таблицу юзеров, выделив, кроме прочего, дату первой транзакции.
2 Выделить из этой даты месяц — это будет номер когорты: 1 — январская, а 5 — майская. 3 Отфильтровать из основного датасета транзакции только пользователей из N когорты.
4 Из даты транзакции выделить месяц. Из этого месяца вычесть месяц когорты — это будет месяц жизни когорты. Причем чем "моложе" когорта, тем меньше будет у нее месяцев жизни.
5 Группируем отфильтрованный исходный датасет по месяцам жизни с нужными агрегациями. Получим таблицу для когорты, в которой каждая строка — показатели в определенный месяц жизни — кол-во транзакций, кол-во активных пользователей, простая сумма транзакций, кумулятивная сумма (почти LTV)
6 Повторяем пункты 3–5 для всех когорт в цикле или еще как.
7 Складываем полученные таблицы отдельных когорт в одну прибавлением «снизу».
8 Из полученной таблицы делаем сводную, в индексах — месяц жизни, в колонках — когорта, в ячейках — соответствующий показатель. Должна получиться «треугольная» таблица, в которой с одной стороны от диагонали (зависит от того как отсортировать) нули - такие "0" или такие "null"
9 Строим по полученной треугольной таблице хитмап или график.

Обсчет когортного анализа на примере Python

Допустим у нас есть датасет транзакций платежей пользователей за некоторый период. Минимальный набор данных для когортного анализа - id транзакций, дата, id пользователя, сумма. Даты транзакции - с января по июнь.

формируем таблицу клиентов

client_table = data.groupby('user_id', as_index=False).agg({
    'tr_id' : 'count', 
    'oper_sum' : 'sum', 
    'date' : ['min', 'max']})
client_table['first_date'] = pd.to_datetime(client_table['first_date'])
client_table['first_month'] = pd.DatetimeIndex(client_table['first_date']).month

Формируем таблицу когорт, агрегируя основные показатели по таблице транзакций, а затем вычисляя необходимые метрики уже по таблице когорты.

calendar_ch_dynamika = pd.DataFrame([])
for c in range(1, 8):
  ch = set(client_table.query('first_month == @c')['user_id'])
  dd = data.query('user_id.isin(@ch)').groupby('tr_month', as_index = False)
        .agg({'tr_id' : 'count', 'user_id' : 'nunique', 'oper_sum' : 'sum'})
  dd = dd.rename(columns = {'tr_id' : 'tr_count', 'user_id' : 'user_count'})
  dd['avg_sum'] = dd['oper_sum'] / dd['tr_count']
  dd['ch'] = f'{c}_{calendar.month_abbr[c]}'
  dd['m_live'] = dd['tr_month'] - c + 1
  dd['ltv'] = dd['oper_sum'].cumsum() / len(ch)
  dd['ltv_m'] = dd['oper_sum'].cumsum() / (len(ch) * dd['m_live'])
  dd['rr'] = dd['user_count'] / len(ch)
  dd['cr'] = dd['user_count'] / dd['user_count'].shift(1)
  dd['avg_sum'] = dd['oper_sum'] / dd['tr_count']
  calendar_ch_dynamika = pd.concat([calendar_ch_dynamika, dd])

  calendar_ch_dynamika = calendar_ch_dynamika.reset_index(drop=True)

Получаем такую таблицу:

Формируем из нее сводную таблицу. В индексах — месяц жизни, в колонках — когорта, в ячейках — соответствующий показатель

ch_heattable = calendar_ch_dynamika.pivot(index = 'm_live', 
                                   columns = 'ch', 
                                   values = 'user_count')

Осталось построить графики - хитмап и линейный график

, ax = plt.subplots(1, 2, figsize=(16,5))
ch_heattable = ch_heattable.iloc[:, ::-1]
sns.heatmap(ch_heattable, xticklabels=ch_heattable.columns, cmap='RdYlGn', 
            annot = True, fmt=f'.0f', cbar=False, ax = ax[0])
ax[1].plot(ch_heattable, label = ch_heattable.columns)

ax[0].set_xlabel('Когорта')
ax[0].set_ylabel('Месяц жизни')

ax[1].set_xlabel('Месяц жизни')
ax[1].set_ylabel(f'user_count')
ax[1].legend(title='Когорты')
plt.suptitle(f'Динамика параметра "user_count" в когортах по месяцам жизни')
plt.show()

Получатся такой график когортного анализа динамики количества активных пользователей по месяцам жизни

Заключение

Надеюсь, эта статья поможет вам разобраться с последовательностью действий при обсчете когортного анализа. Выводы из полученных данных вне рассмотрения данной статьи.