Понимать разницу между корреляцией и причинно-следственной связью и знать, как интегрировать решения на основе данных в свой бизнес.

[Эта запись в блоге изначально была опубликована Иво Бернардо в блоге DareData под названием DS — Building Blocks: A Quick Guide on Experimenting for Non-Technical Users]

Вы перегружены, когда ваша команда по обработке данных болтает о корреляции, причинно-следственной связи, A/B-тестировании и других терминах? Или вы являетесь менеджером некоторых проектов, включающих статистику и машинное обучение, и считаете, что должны внести больший вклад в то, чтобы направлять свою команду к правильному результату?

Эти типы ситуаций являются общими для деловых и нетехнических пользователей. В проекте по науке о данных должна быть разнообразная команда, и совершенно нормально, что некоторые заинтересованные стороны не полностью знакомы с некоторыми концепциями DS, которые являются ключом к успеху проекта.

Итак... добро пожаловать в серию основных концепций DS! В этой серии статей мы рассмотрим некоторые основные принципы науки о данных. Эти публикации направлены на то, чтобы сгладить вашу кривую обучения, помочь вам понять некоторые основные принципы, лежащие в основе DS, не вдаваясь в технические подробности.

В этом первом посте мы поговорим о трех важных моментах: корреляция, причинно-следственная связь и статистическое тестирование.

Давайте начнем с некоторой интуиции о том, почему вашей компании могут понадобиться основательные эксперименты и статистическое тестирование. Исторически сложилось так, что когда дело доходит до принятия решений, компании допускают два типа ошибок:

  1. Решения, подкрепленные неправильной или предвзятой интуицией.
  2. Решения, основанные на неверных, неточных или вырванных из контекста данных.

Правда в том, что многие предприятия (особенно традиционные) склонны принимать решения, основываясь на чувстве первоочередности (1) — только недавно компании столкнулись с суровой реальностью, что предприятия, ориентированные на данные, процветают в этом тысячелетии. С другой стороны, это вызвало панику в проектах, связанных с данными, что может привести к выводам, которые, хотя и «поддерживаются» данными, могут привести к плохим результатам (2).

Мы даже можем вернуться в прошлое, чтобы увидеть, как эти ошибки совершались на протяжении всей истории. Запуск Новой кока-колы был основан на данных, и это было в 1985 году. Были ли это правильные данные? Не так. В основном потому, что New Coke был запущен на основе положительных слепых дегустационных тестов, но решение не принимало во внимание эмоциональную привязанность лояльных потребителей к бренду и традициям.

В настоящее время у большинства компаний, вероятно, примерно в 1000 или 10 000 раз больше данных, чем у Coca-Cola в 1985 году — помогает ли это избежать таких ошибок? Не совсем.

Таким образом, возникает вопрос: как мне, как бизнесу, внедрять данные в наиболее важные бизнес-решения?

Начнем с одной из старейших пословиц в науке о данных и машинном обучении.

Корреляция не равна причинности

Это широко используемая мантра для специалистов по данным и статистиков по всему миру.

Вы когда-нибудь смотрели на корреляцию (две переменные, которые движутся в одном направлении) и сразу же делали выводы? Это нормально и не переживайте по этому поводу. Даже самые опытные специалисты по данным время от времени совершают эту ошибку, поскольку люди пытаются найти закономерности и логику даже в самых случайных процессах.

Определенные корреляции, которые могут подразумевать причинно-следственную связь, почти стали городскими легендами. Spurious Correlations — это место, где можно найти самые возмутительные корреляции. Например:

Когда произносишь это вслух, это звучит еще более нелепо. Но действительно, по имеющимся данным (2000–2009 гг.) существует действительно высокая положительная корреляция между потреблением сыра на душу населения и количеством людей, которые умерли, запутавшись в своих простынях.

Вы сразу пришли к выводу, что люди запутались в своих простынях, потому что ели больше сыра? Или наоборот? Люди съели больше сыра в загробной жизни после смерти, запутавшись в простынях?

В любом случае, это нелепые утверждения, поскольку между ними нет причинно-следственной связи.

Эти типы отношений обычно называют ложными отношениями. В первом примере это легко заметить, поскольку крайне сложно передать причинно-следственную связь между переменными.

Но теперь замените возмутительный пример выше следующими двумя переменными Количество загрузок приложения и Количество кнопок в приложении с красным цветом:

Если вы находитесь на совещании и показываете график выше, многие люди решат, что добавление кнопок красного цвета приведет к большему количеству загрузок приложения. Кто-то обязательно найдет тезис, который покажется логичным, и аргументирует причинно-следственную связь между изменениями в приложении и количеством скачавших его пользователей.

Возможно, это неправда. У этого может быть две причины:

  • Возможны некоторые факторы, которые вы здесь не принимаете во внимание. Что делать, если приложение конкурента было удалено из App Store? Что, если в то же время ваша маркетинговая команда провела агрессивную маркетинговую кампанию, чтобы увеличить количество загрузок? Слишком много вещей вне вашего контроля. Даже при высокой корреляции вы не можете предположить, что увеличение количества красных кнопок является основной причиной увеличения количества загрузок.
  • В игру может вступить старая добрая случайность. Да, результаты, которые вы видите, могут быть случайными.

Как правило, мы в конечном итоге находим третью переменную, которая вызывает одну или несколько переменных из отношения, попадая в первый пример выше.

В приведенном выше случае вы в конечном итоге обнаруживаете, что ваша маркетинговая команда подготовила большую кампанию на третью и четвертую неделю года. Это вызвало некоторое давление на команду разработчиков, чтобы они ускорили разработку приложений (где изменение цвета кнопок было одним из результатов). Таким образом, маркетинговая кампания — это то, что мы обычно называем вводящей в заблуждение переменной.

Эта переменная может вызвать направление и движение двух переменных, которые вы анализируете.

Позвольте мне также привести еще один пример. Это история, которая является стандартнойна занятиях по науке о данных и эконометрике:

Продажи мороженого и случаи утопления тесно связаны между собой и демонстрируют сезонную тенденцию.

Никто бы не подумал, что эти переменные вызывают друг друга. Мы все знаем, что где-то на заднем плане скрывается третья переменная, которая оправдывает тот факт, что обе эти переменные движутся в тандеме:

И мы знаем, что третье…

Средняя температура!

Таким образом, с повышением температуры растет и потребление мороженого. А еще, количество утопленников! Эта причинно-следственная связь кажется гораздо более понятной с точки зрения интуиции. В этом примере было легко определить, какая переменная может быть причиной того, что мы измеряем. В бизнес-среде это действительно довольно сложно, а смешанные переменные могут быть почти бесконечными.

К счастью, в отрасли существует несколько методов и стандартов, которые гарантируют, что нас не обманет корреляция.

A/B-тестирование

Повторите со мной: A/B-тестирование (обычно называется так в цифровом бизнесе) или Target/Control (обычно называется так в традиционном бизнесе) — это один из немногих способов убедиться, что мы рассматриваем причинно-следственные связи. >

На самом деле это довольно простая логика:

  • Вы выбираете образец, где вы будете применять какое-то лечение или где вы хотите увидеть какой-то эффект — обычно это называется целевой/тестовой группой.
  • Вы выбираете образец, к которому не будете применять никаких изменений — обычно его называют контрольной группой.

Этот метод применяется в нескольких отраслях:

  • В фармацевтике это широко используемый подход для проверки безопасности и эффективности лекарства (хотя в контексте фармацевтики контрольной группе дается плацебо, поэтому применяется некое альтернативное «лечение» из-за предвзятости восприятия пациентов).
  • В розничной торговле, когда вы хотите запустить новый продукт, эксперимент Target/Control может помочь вам понять, как продукт будет восприниматься и восприниматься рынком с точки зрения вкуса, бренда и других характеристик.
  • Компания, разрабатывающая приложения, использует A/B-тестирование, чтобы понять, улучшает ли изменение цвета кнопки количество пользователей, нажимающих кнопку.

Как мы видели на примере New Coke, спланировать хороший эксперимент сложно и требует знаний о бизнесе или цели исследования. Вот небольшой контрольный список, который нужно учитывать, когда вы хотите спланировать исследование/эксперимент как таковой:

  • Знайте свою цель исследования. То, что вы хотите измерить, чрезвычайно важно и должно быть согласовано с бизнес-целями или исследовательскими целями.
  • Убедитесь, что целевые и контрольные образцы имеют схожие характеристики. Например, если вы проверяете эффективность лекарства, вы хотите гарантировать, что у вас есть все возрастные группы в обоих образцах, чтобы вы возможность сравнить результаты статистически значимым способом. Если одна из ваших выборок слишком смещена в сторону младшей или старшей возрастной группы, это может привести к необъективным результатам.
  • Начните с малого с достаточно большого размера выборки. В идеале вы хотели бы начать свои эксперименты в среде POC (дополнительную информацию см. в этом сообщении). Если вы не знаете основное распределение населения, постарайтесь, по крайней мере, включить в тесты от 3 до 5% вашего населения, чтобы вы были уверены в результатах. Если вы знаете, что основное явление, которое вы пытаетесь изучить, имеет примерно нормальное распределение, вы можете стремиться к меньшему размеру выборки.
  • Разработайте наилучшую возможную гипотезу. Ваш рабочий процесс обработки данных должен быть готов к созданию хорошей гипотезы для тестирования. Если вы хотите получить предписание, ваша гипотеза должна быть связана с прошлыми данными, а действие должно быть воспроизведено в будущем.

После исследования вы, вероятно, сможете развить интуицию причинно-следственной связи лежащего в основе явления. На этом этапе вы можете перейти от вашей модели/гипотезы к предполагаемому действию.

От моделей машинного обучения к предписывающим действиям

Для проектов, которые заинтересованы в причинно-следственных связях, одним из лучших навыков, которым может обладать группа аналитики и науки о данных, является умение разработать хорошо продуманную гипотезу, которая будет использоваться для A/B-тестирования.

Некоторые примеры проектов, которые могут быть решены при соблюдении причинно-следственной связи:

  • Должен ли я сначала запустить свой продукт в определенном регионе?
  • Должен ли я изменить коммуникацию моих маркетинговых кампаний в соответствии с каналом?
  • Какие виды поощрения лучше всего подходят моей коммерческой команде?
  • Сколько меню должно отображаться на моем веб-сайте?
  • Какого цвета должен быть фон моего приложения?

Большинство алгоритмов машинного обучения способны предсказывать что-то на основе корреляции — например, если вы знаете количество съеденного мороженого, вы можете предсказать количество утонувших людей — преобразуется ли это в причинно-следственную связь? Абсолютно нет и не следует уменьшать количество потребления мороженого, чтобы спасти людей от утопления.

Но алгоритм машинного обучения обязательно уловит эту корреляцию. Вы можете поспорить, что в большинстве деловых отношений такие отношения проявятся. Если бы вы построили предписывающий анализ на основе этого, это было бы совершенно не по адресу.

Причинно-следственная связь — это единственное, что позволит вам принимать предписывающие решения.

Заключение

Корреляция, причинно-следственная связь и экспериментирование — вот некоторые из важнейших составляющих, когда речь идет о внедрении данных в решения вашей компании.

Когда вы впервые начинаете обращаться к ним, эти концепции кажутся немного громоздкими для понимания. Они определенно не являются первой натурой для всех, особенно если у вас нет опыта работы со статистикой. Но, вероятно, будет масса возможностей, где вы определите эти принципы и то, как их можно применять в повседневной жизни.

В будущем мы также обратимся к другим строительным блокам DS, таким как:

  • Контролируемое и неконтролируемое обучение;
  • Основные статистические данные и что они означают;
  • Распределение данных;
  • Регрессия против классификации;

Если у вас есть какие-либо отзывы или вы заинтересованы в обсуждении некоторых из этих тем, напишите мне по адресу [email protected] или через LinkedIn.

DareData Engineering — это компания, занимающаяся консультированием данных и кадровым агентством, которая помогает компаниям устанавливать современные системы искусственного интеллекта. Найдите нас на следующих ресурсах:

Не стесняйтесь обращаться, мы будем рады услышать от вас!