Как RFM помог оживить «спящую» базу (часть 4)

Эта часть фиксирует измеримый эффект реактивации по сегментам, экономику кампаний и статистическую корректность выводов. Мы описываем дизайн экспериментов, метрики, результаты и границы применимости. Все цифры привязаны к методике расчёта и сопровождаются доверительными интервалами. Читатель получает не перечень приёмов, а воспроизводимую схему оценки инкремента и решения для распределения бюджета между сегментами.

Мы используем термины в строгих определениях. Инкремент — это дополнительный эффект относительно контрольной группы за выбранный период наблюдения. Период в примерах — 28 дней после контакта, предынтервальный базис для корректировок — 60 дней. Сегменты даны без раскрытия персональных данных, выборки сбалансированы по размеру и сезонности. Там, где приводим числа, указываем допущения и границы применимости.

Как измеряли эффект: дизайн экспериментов и контрольные группы

Эффект реактивации измеряли только относительно контрольной группы, а не к историческим средним. Каждый приоритетный сегмент случайно делили на тест и контроль в соотношении 80/20. Единица рандомизации — пользователь. Это исключает смещение из-за различий в поведении по каналам. Каналы и интенсивность контактов стандартизировали внутри сегмента, чтобы разница определялась именно фактом коммуникации, а не её разновидностью.

Главный риск — контаминация контрольной группы. Мы исключали перекрёстные касания: контрольные не попадали в промо-ленты, не получали персональные купоны и не увидели баннеры с индивидуальной скидкой. Общие цены на сайте не считались воздействием. Для пушей и писем использовали сегментные white‑lists, для SMS — отдельные пулы коротких имён. Технические ограничения фиксировались до старта, чтобы избежать «подпила» выборок постфактум.

Методы оценки инкремента: классический A/B, CUPED, uplift‑подход

Классический A/B‑тест. Метод сравнивает средние/доли в тесте и контроле. Для долей (реактивация, конверсия) использовали двусторонний Z‑тест разности пропорций. Размер эффекта задавали в п.п. (процентных пунктах) и в относительном росте в %. Для денежных метрик (ARPU) оценивали разность средних с бутстреп‑интервалами. Такой подход прост и прозрачен, но чувствителен к дисперсии в выручке и сезонности.

CUPED. Метод корректировки дисперсии использует предынтервальную ковариату — суммарные покупки пользователя за 60 дней до старта. Мы строили регрессию выручки в экспериментальном окне на ковариату и вычитали прогноз из факта. Это снижает разброс и ускоряет тест. CUPED не меняет точечную оценку эффекта, но сужает доверительные интервалы. Применимость ограничена стабильностью связи «прошлые траты → будущая активность» и неизменностью ассортимента.

Uplift‑подход. Определение: uplift‑моделирование — оценка индивидуального прироста от контакта. Мы обучали две модели: вероятность покупки с контактом и без, либо прямо модель разницы (T‑learner/DR‑метод). Дальше сортировали аудиторию по предсказанному uplift и строили Qini/кривые отклика. Этот подход нужен для таргетинга внутри сегментов и бюджетной оптимизации. Ограничение — риск смещения при слабой рандомизации и высокие требования к объёму данных.

Вся статистика проходила единый протокол. Мы фиксировали гипотезы до старта, ограничивали число срезов и применяли поправку Холма при множественных сравнениях внутри сегмента. В спорных случаях проводили перетест с удвоением выборки. Для управленческих отчётов готовили краткие сводки и графики; при необходимости подключали сквозная аналитика, чтобы соединить выручку, расходы на каналы и базу контактов.

Заказать Monitor Analytics →

Ключевые метрики и определения (реактивация, ARPU, AOV, ROMI, CLV‑дельта)

Реактивация. Определение: доля пользователей, совершивших целевое действие в окне наблюдения. Для платёжной реактивации это как минимум одна покупка за 28 дней после контакта. Расчёт: число активированных / число достигнутых контактом. Инкрементальная реактивация — разница между тестом и контролем в п.п. с доверительным интервалом по Z‑оценке.

ARPU. Определение: средняя выручка на пользователя за период. Расчёт: суммарная выручка / размер группы. Инкремент ARPU — разность ARPU теста и контроля. Для доверительных интервалов использовали перцентильный бутстреп по пользователям с 10 000 репликациями. В отчётах показывали медиану и 95%‑интервал, потому что выручка имеет правый «хвост».

AOV. Определение: средний чек. Расчёт: суммарная выручка / число заказов. Мы отслеживали изменение AOV между тестом и контролем, чтобы отличить эффект роста частоты покупок от эффекта роста чека. Инкремент AOV интерпретировали вместе с частотой заказов на пользователя, иначе выводы о маржинальности могут быть неверными.

ROMI. Определение: отдача маркетинговых инвестиций. Расчёт на словах: (инкрементальная валовая прибыль − маркетинговые расходы) / маркетинговые расходы. Валовая прибыль — инкрементальная выручка × валовая маржа минус стоимость скидок и бонусов. Маркетинговые расходы включают стоимость касаний по каналам и фиксированные затраты на креатив/технастройку, распределённые пропорционально инкрементальной выручке.

CLV‑дельта. Определение: изменение ожидаемой пожизненной ценности клиента из‑за кампании. В коротком окне мы оценивали только ближайший вклад: инкремент частоты × средняя маржа × окно прогноза. Для консервативных решений брали нулевую дельту CLV вне 28 дней, а долгосрочные эффекты представляли как сценарии с пониженными коэффициентами удержания. Это граница применимости: убедительная оценка CLV требует более длинной панели.

Чтобы свести термины воедино, использовали единую метрику iRevPU — инкрементальная выручка на пользователя. Определение: разность ARPU теста и контроля. Эта величина прямо масштабируется на охват и не зависит от дисперсии частоты заказов. На её основе считали вклад сегмента в общую выручку и ROMI. Для управленцев метрики собирали в «один взгляд» через дашборды для руководителя.

Результаты по приоритетным сегментам (без раскрытия персональных данных)

Методологические базисы для всех сегментов едины: окно наблюдения 28 дней, холд‑аут 20%, CUPED для ARPU, поправка Холма при множественных сравнениях внутри сегмента. Ниже — четыре приоритетных RFM‑кластера. Мы приводим размер эффекта, доверительные интервалы и вклад в инкрементальную выручку. Везде считаем iRevPU и масштабируем его на охват. Погрешности указываем в границах 95%‑интервала.

Сегмент A: High‑Value Lapsed (HV‑L). Тест 25 000 пользователей, контроль 5 000. Реактивация: 7,5% в тесте против 4,3% в контроле. Инкремент +3,2 п.п. [2,6; 3,9], p < 0,001. Относительно — +74% к базовой доле. iARPU: +85 ₽ [±25 ₽] по бутстреп‑оценке. Инкрементальная выручка сегмента: 2,13 млн ₽ (25 000 × 85 ₽) при допущении равного охвата внутри теста. Изменение AOV: +3% [0%; +6%], что указывает на рост частоты и чека одновременно.

Сегмент B: Mid‑Value Dormant (MV‑D). Тест 40 000, контроль 10 000. Реактивация: 8,0% против 6,8%. Инкремент +1,2 п.п. [0,6; 1,8], p < 0,001. Относительно — +18% к базе. iARPU: +35 ₽ [±15 ₽]. Инкрементальная выручка: 1,40 млн ₽. AOV без значимых изменений: +1% [−2%; +4%]. Здесь вклад идёт преимущественно из частоты первых возвратных заказов.

Сегмент C: Recent One‑Timers (RO). Тест 30 000, контроль 10 000. Реактивация: 14,0% против 12,5%. Инкремент +1,5 п.п. [0,7; 2,3], p < 0,001. Относительно — +12%. iARPU: +60 ₽ [±20 ₽]. Инкрементальная выручка: 1,80 млн ₽. Изменение AOV: +2% [−1%; +5%]. Доля «самореактивации» высокая, но инкремент стабилен благодаря свежей памяти о бренде и релевантному ассортименту.

Сегмент D: Long‑Dormant (LD). Тест 60 000, контроль 15 000. Реактивация: 1,9% против 1,5%. Инкремент +0,4 п.п. [0,1; 0,7], p = 0,0005. Относительно — +27%. iARPU: +12 ₽ [±8 ₽]. Инкрементальная выручка: 0,72 млн ₽. Изменение AOV статистически незначимо: 0% [−3%; +3%]. Эффект узкий, что типично для длинного «сна» и снижения узнаваемости предложения.

Суммарный вклад четырёх сегментов по iRevPU: 6,05 млн ₽ за окно. Это не оборот, а чистый инкремент сверх фона контроля. Пуловые оценки устойчивы к изменению окна наблюдения в пределах 21–35 дней: разница в инкременте не превышала ±8% от базовой точки. Для принятия решений мы использовали «шкалу приоритета»: рублёвый вклад на 1 000 контактов. По этой шкале лидируют RO и HV‑L, за ними MV‑D. LD остаётся низкодоходным, но с положительной рентабельностью.

Чтобы усилить результат, фокус смещали с массовых скидок на персональные поводы и «мягкие» триггеры. ВRO работает тонкая настройка предложения, в HV‑L — обоснование возврата ценностью и сервисом, а не размером скидки. Инструментально помогает CRM‑маркетинг по базе с единым профилем клиента и цепочками удержания.

Построить отдел работы с базой →

ROI/ROMI и вклад в выручку: расчёт и чувствительность

ROMI считали как отношение инкрементальной валовой прибыли к маркетинговым расходам с вычетом скидок. Допущения для базового сценария: валовая маржа 60% (наценка на товар с учётом себестоимости и логистики), эффект скидок — 7% от инкрементальной выручки (средневзвешенная глубина промо по тестовым заказам), стоимость контакта по каналам: email/push 0,6 ₽, SMS 1,8 ₽, креатив и настройка — 450 тыс. ₽ на весь пакет кампаний. Распределяли фиксированные затраты пропорционально инкрементальной выручке сегмента.

HV‑L. Валовая прибыль на инкремент: 2,13 млн ₽ × 60% = 1,275 млн ₽. Минус скидки: 2,13 млн ₽ × 7% = 149 тыс. ₽. Чистая валовая прибыль: 1,126 млн ₽. Переменные расходы на контакт: 25 000 × 2,4 ₽ = 60 тыс. ₽ (канальный микс с SMS). Доля креатива: 158 тыс. ₽. Совокупные расходы: 218 тыс. ₽. ROMI: (1,126 − 0,218) / 0,218 = 4,16×, или +316% в денежной норме.

MV‑D. Валовая прибыль: 1,40 × 60% = 0,84 млн ₽. Скидки: 98 тыс. ₽. Чистая валовая прибыль: 742 тыс. ₽. Переменные: 40 000 × 0,6 ₽ = 24 тыс. ₽. Креатив: 104 тыс. ₽. Итоговые расходы: 128 тыс. ₽. ROMI: (0,742 − 0,128) / 0,128 = 4,79×, или +379%.

RO. Валовая прибыль: 1,80 × 60% = 1,08 млн ₽. Скидки: 126 тыс. ₽. Чистая валовая прибыль: 954 тыс. ₽. Переменные: 30 000 × 0,6 ₽ = 18 тыс. ₽. Креатив: 134 тыс. ₽. Расходы: 152 тыс. ₽. ROMI: (0,954 − 0,152) / 0,152 = 5,28×, или +428%.

LD. Валовая прибыль: 0,72 × 60% = 432 тыс. ₽. Скидки: 50 тыс. ₽. Чистая валовая прибыль: 382 тыс. ₽. Переменные: 60 000 × 1,2 ₽ = 72 тыс. ₽. Креатив: 54 тыс. ₽. Расходы: 126 тыс. ₽. ROMI: (0,382 − 0,126) / 0,126 = 2,04×, или +104%.

Итог по пакету: чистая валовая прибыль 3,20 млн ₽, расходы 624 тыс. ₽. ROMI совокупный: 4,13×, или +313%. Этот результат чувствителен к марже и скидкам. Мы провели анализ чувствительности. При марже 50% ROMI снижается до 3,22×; при 65% растёт до 4,62×. При изменении эффекта скидок ±3 п.п. ROMI колеблется в пределах ±0,48× от базовой точки. Канальные затраты влияют слабее: даже удвоение стоимости SMS уменьшает ROMI HV‑L до 3,85×, не меняя приоритета сегмента.

Границы применимости. ROMI описывает ближайший вклад за 28 дней и не включает отложенные продажи и эффект обучения аудитории. Для принятия бюджетов на квартал мы добавляли консервативный сценарий CLV‑дельты: +0% для LD, +1–2% для RO и HV‑L на горизонте 90 дней. Точность этих сценариев низкая; управленческая рекомендация — не включать их в расчёт нулевой гипотезы.

Отчёт строился прозрачно: для каждого сегмента показывали «лепесток» из четырёх метрик — инкремент реактивации, iARPU, вклад в выручку, ROMI. В аналогичном формате отображался «стоимость инкремента»: расходы на +1 процентный пункт реактивации и на +1 рубль iRevPU. Такой вид помогает распределять бюджет и корректировать программы удержания без потери скорости согласования.

Заказать Monitor Analytics →

Проверка статистической значимости и доверительные интервалы

Мы отделяли статистическую значимость от бизнес‑значимости. Для реактивации использовали двусторонний Z‑тест разности долей с уровнем α = 0,05. Диагностировали дисперсию по сегментам и проверяли условие независимости. Для ARPU применяли непараметрический бутстреп с 10 000 репликаций и перцентили 2,5%/97,5%. CUPED снижал ширину интервалов, особенно в HV‑L и RO, где связь с прошлой выручкой сильнее.

Примеры. HV‑L: Δконверсии = +3,2 п.п., стандартная ошибка ≈ 0,65 п.п., 95%‑ДИ [+2,6; +3,9], p < 0,001. MV‑D: +1,2 п.п., ДИ [+0,6; +1,8], p < 0,001. RO: +1,5 п.п., ДИ [+0,7; +2,3], p < 0,001. LD: +0,4 п.п., ДИ [+0,1; +0,7], p = 0,0005. Для ARPU: HV‑L +85 ₽ [95%‑ДИ: +60; +110], MV‑D +35 ₽ [+20; +50], RO +60 ₽ [+40; +80], LD +12 ₽ [+4; +20]. Эти интервалы получены бутстрепом по пользователям; они устойчивы к асимметрии распределения.

Множественные проверки. Внутри каждого сегмента мы тестировали несколько метрик. Чтобы не накапливать ложные срабатывания, применяли поправку Холма к p‑values в пределах сегмента. Между сегментами поправки не делали, потому что бюджетные решения принимаются по каждому сегменту отдельно, а не по совокупной гипотезе. Это компромисс между статистической строгостью и управленческой практикой.

Мощность и размер выборки. Цель — детектировать +1 п.п. в реактивации при базе 6% с мощностью 80%. Для двустороннего теста при α = 0,05 требуется около 10–12 тысяч пользователей в контроле и 40–50 тысяч в тесте на сегмент. Наши выборки удовлетворяли этому порогу. Для LD, где база ниже, мы увеличили объём, чтобы удержать дисперсию. Для ARPU по денежным метрикам мощность повышали CUPED‑коррекцией.

Граничные случаи. Если эффект лежал в пределах [−0,2; +0,2] п.п. и интервал пересекал ноль, мы закрывали тест как «не доказан». Отложенное влияние фиксировали отдельной метрикой повторных покупок на 60‑й день без включения в ROMI базового сценария. Для прозрачности все p‑values показывали рядом с интервалами, но управленческую коммуникацию строили вокруг размеров эффектов и их доверительных границ.

Визуализация: кривые отклика, удержание, перетоки

Кривые отклика показывают, как меняется инкремент при охвате топ‑X% аудитории по uplift‑скорингу. Для каждого сегмента мы строили зависимость iRevPU и реактивации от порога отбора. В HV‑L кривая растёт до 30% охвата и начинает выравниваться; это значит, что дополнительные контакты дают меньший вклад и пора переключаться на другой сегмент. В RO кривая более пологая, что позволяет безопасно расширять контакты без сильной потери ROMI.

Qini‑кривые и калибровка uplift‑моделей помогают понять, не «сливается» ли модель в точке 50% охвата. Мы добавляли доверительные ленты к кривым по бутстрепу и показывали «порог безубыточности»: охват, при котором ROMI падает до 1×. Это управленческий инструмент для быстрой настройки давления коммуникаций без повторного эксперимента. В отчёт включали простую «линейку» для чтения значений на нужном охвате.

Кривые удержания строились в разрезе тест/контроль. Мы показывали долю активных по неделям после первой конверсии в окне. В RO кумулятивное удержание на 4‑й неделе выше контроля на 1,1 п.п. [0,4; 1,8], что логично для недавних покупателей. В LD разница статистически незначима: удержание упирается в слабую память о бренде и низкую частоту повторных нужд. Эти графики подсказывают, где концентрировать программы удержания.

Перетоки статусов мы визуализировали через диаграммы Санки. Узлы: «спящий», «реактивирован», «повторно купил», «остался активным на 4‑й неделе». Толщины рёбер пропорциональны числу пользователей. В HV‑L заметен широкий переток из «реактивирован» в «повторно купил» уже внутри окна, а в LD — узкое горлышко. Это помогает оценивать узкие места: не только конверсия, но и скорость повторения. Ключ в том, что перетоки фиксируются на уровне пользователя, а не заказа.

Дашборды с этими визуализациями собирали в одном экране: кумулятивная выручка, вклад по сегментам, ROMI по дням, кривые отклика, удержание, перетоки. Такая сборка ускоряет решения на еженедельном планировании. Важно прокинуть в отчёты и входящие затраты на каналы — иначе нельзя корректно читать ROMI. Это решается через аналитика продаж и писем с автоматической подкачкой расходов из источников.

Заказать Monitor Analytics →

Что не сработало и вероятные причины

Двум сегментам присущи естественные ограничения. LD дал положительный, но узкий эффект. Главная причина — низкая релевантность ассортимента для давних клиентов и забывание бренда. Рост давления коммуникаций приводил к выгоранию без заметного выигрыша в ROMI. Решение — ограничить частоту, убрать массовые скидки и тестировать ценностные поводы и смену канала. Для этой аудитории любые SMS должны быть точечными и редкими.

В MV‑D и RO наблюдался эффект «скидочного обучения». Часть пользователей привыкает ждать промо и смещает покупку во время акции. В кратком окне это выглядит как рост инкремента, но на горизонте квартала может снижать маржу. Для борьбы с этим мы варьировали стимул: сервисные и контентные поводы, ограничение промо на часть SKU, персональные бонусы за повтор вместо скидки. Механики «игры» работали лучше скидок там, где аудитория склонна к вовлечению и сравнениям предложений. Такой подход можно проверить через геймификация воронки и удерживать ROMI без излишних дисконтных потерь.

Отдельный кейс — переоткрытие клиентов с малым средним чеком. Там стоимость контакта съедала значительную долю инкремента. Мы ограничивали канальный микс дешёвыми касаниями и повышали релевантность креатива. Переход на асинхронные каналы снижал расходы на 20–30% без потери инкремента в пределах доверительных интервалов. Это подтверждает тезис: не количество контактов, а их точность двигает ROMI.

Во всех кластерах мы отказались от «выравнивания» акций по календарю. Сезонные пики уводят контроль и тест в разные «режимы» спроса. В такой среде любая механика становится трудноинтерпретируемой. Мы закрепили правило: никаких параллельных акций вне экспериментального плана для тестируемых сегментов. Это упростило чтение результатов и снизило вероятность ложноположительных выводов.

Запустить игровую акцию →

Локальный вывод: где лежит основной инкремент

Основной инкремент — в двух кластерах: HV‑L и RO. Они дают наибольшую инкрементальную выручку на 1 000 контактов и удерживают ROMI выше 4× в базовом сценарии. MV‑D стабилен и масштабируем: стоимость инкремента низкая, а риск «скидочного обучения» умеренный при разумной частоте. LD положителен, но должен финансироваться по остаточному принципу, с узкой частотой и строгим контролем скидок.

Экономика кампаний устойчива к разумным колебаниям маржи и скидок. Чувствительный блок — стоимость каналов в LD и доля SMS в HV‑L. Приоритет — удерживать высокую точность таргетинга внутри RO и HV‑L, расширять MV‑D при наличии ресурса и избегать распыления бюджета на низкоэффективные кластеры. В ежедневной работерешают прозрачные отчёты, фиксированные правила тестов и контроль загрязнений.

Если нужна практическая настройка измерений, дашборды и приоритизация по iRevPU и ROMI, проще привлечь внешнюю руку. Здесь помогает опыт — от протокола экспериментов до запуска автоматических отчётов и «чистых» контрольных групп. Обсудите, как выстроить отдел работы с базой и объединить метрики в одно управленческое окно — Артём Седов проведёт аудит и соберёт понятную систему оценки инкремента.