Часть 3: Работа с предвзятостью. Интуитивно понятные пошаговые методы.

Ищете начало? Нажмите здесь, чтобы перейти к части 1

Введение

В предыдущем сообщении блога мы обсудили распространенные в отрасли методы измерения инкрементальности во время маркетинговых кампаний. С этого момента и в этой части мы сосредоточимся на методах, которые мы используем в Untie Nots, чтобы доказать постепенный эффект. В этом блоге мы обсудим простые и понятные методы: прямое инкрементальное измерение и метод Twin.

Измерение коэффициента подъемной силы

Помните, что формула подъема берет контрольную группу за основу, а затем сравнивает ее с покупками клиентов, подвергшихся воздействию. Он работает в предположении, что контрольная группа была выбрана случайным образом, что гарантирует, что изменение поведения между двумя группами может быть объяснено только маркетинговой кампанией, а не другими факторами.

Как мы видели ранее, в нашем случае трудно придумать хороший протокол A/B-тестирования. Таким образом, мы решили сравнить игроков непосредственно с контрольной группой и допустить, что базовые продажи могут различаться в этих группах.

Мы корректируем формулу подъемной силы, чтобы учесть это несоответствие, чтобы получить то, что мы называем коэффициентом подъемной силы (LR):

Здесь мы сравниваем скорость изменения поведения во время маркетинговой кампании и некоторого фиксированного периода до кампании между этими двумя группами.

Обратите внимание, что эта формула не обязательно требует рандомизации контрольной группы. Группа игроков может в среднем тратить больше еще до маркетинговой кампании, но если скачок продаж во время нее будет выше, чем скачок в контрольной группе, это должно убедить нас в том, что это можно объяснить в основном эффектом кампании.

Этот метод легко интерпретируется и может использоваться в качестве основы для сравнения с другими методами. Однако мы можем только надеяться уменьшить смещение, но, вероятно, не устраним его полностью.

В качестве примера представьте, что люди, которые склонны участвовать в маркетинговой кампании, также тратят больше в течение этого конкретного месяца по каким-то внешним причинам.

В результате мы бы наблюдали постепенный эффект, даже если бы кампании никогда не было. Другими словами, если существует тенденция конкретно для игроков или конкретно для контрольной группы, формула отразит это как дополнительный эффект кампании.

На практике, однако, мы можем предположить, что систематическая ошибка является однородной для обеих групп, поэтому этот эффект в большинстве случаев незначителен.

Мы используем данные за несколько месяцев для базовых продаж, чтобы зафиксировать долгосрочные модели покупок. Мы заметили, что продажи игроков увеличились по сравнению с базовым уровнем до кампании. Это имеет смысл, так как люди, которые ходят в магазин чаще, чем раньше, более склонны участвовать в кампании.

Чтобы учесть это, мы используем период проверки между базовым уровнем и кампанией. Затем мы используем тот же метод, чтобы вычислить прирост за период проверки и вычесть его из прироста кампании. Это наихудший сценарий для оценки прироста, но это эффективный способ устранения изменений в поведении перед кампанией.

Таким образом, после устранения смещения формула будет выглядеть следующим образом:

Близнецовый метод

Ранее мы обсуждали, как нерепрезентативная контрольная группа не позволяет нам утверждать, что увеличение продаж происходит исключительно за счет эффекта нашей маркетинговой кампании.

Что, если бы мы могли найти подмножество клиентов в контрольной группе, чье поведение было бы наиболее близко к поведению в группе игроков? Именно в этом заключается идея близнецового метода.

Сначала мы определяем характеристики, которые будут определять сходство, такие как еженедельные расходы, частота посещений, контактность, размер полученной скидки и т. д. Затем мы сопоставляем каждого клиента из популяции игроков с ближайшим (с точки зрения поведения) клиентом из контрольной группы. .

Итак, что мы подразумеваем под ближайшим? Неясно, когда мы говорим о логических характеристиках, таких как возможность контакта, и непрерывных характеристиках, таких как объем продаж.
Мы черпали вдохновение из стратегии RFM и делим наше население на группы на основе их характеристик клиентов (они зависят от розничного продавца, но обычно подписка, статус и т. д.) и их квантили по частоте и скидке над процентилями продаж.

Затем в каждой подгруппе мы строим векторное пространство с еженедельными расходами во время предварительной кампании. Для каждого клиента мы сопоставляем его с ближайшим контрольным покупателем с точки зрения евклидова расстояния из той же подгруппы. Обратите внимание, что у двух игроков может быть один и тот же близнец.

Для каждого клиента у нас будет близнец из контрольной группы, который максимально соответствует своему поведению и характеристикам до начала кампании. Таким образом, мы можем думать об игроках и этой новой близнецовой популяции как об однородных группах, и любые различия, которые мы получим впоследствии, будут объясняться исключительно эффектом маркетинговой кампании.

Чтобы быть уверенными, что мы не выбираем контрольную группу, чтобы они совпадали только для предварительной кампании, мы используем тот же подход, что и с коэффициентом подъема. Мы вводим период проверки между предварительной кампанией и кампанией. Этот период используется для контроля смещения между двумя группами, поскольку любая разница будет удалена из окончательного приращения.

На практике он дает примерно те же результаты, что и коэффициент подъемной силы, но имеет несколько дополнительных преимуществ. Эта стратегия по-прежнему интуитивно понятна и имеет хорошее визуальное представление эффекта.

Однако у него есть несколько проблем:

  • Прежде всего, как и в нашем предыдущем методе, часто возникает остаточное смещение, которое мы не можем исправить. Использование периода проверки дает нам наихудший сценарий.
  • Во-вторых, теперь нам нужно получить большую и достаточно диверсифицированную контрольную группу, чтобы мы могли найти наиболее подходящего клиента для каждого игрока. Опять же, это будет означать, что нам нужно предотвратить участие большего количества людей.

Следующая часть

В следующей части блога мы объясним, как мы использовали методы причинно-следственного поля для расчета дополнительных продаж.