Матрица путаницы — это тип таблицы непредвиденных обстоятельств, используемой либо для обобщения, либо для визуализациипроизводительности. em>о машинном обучении Модели классификации. Он определяет, насколько хорошо (или плохо) работает алгоритм в классификационных задачах, и имеет основополагающее значение для получения таких показателей производительности, как точность, отзыв, Точность, Специфичность, а также кривые AUC и ROC. Но как извлечь ценность (вфинансовом выражении) из матрицы путаницы?
Рассмотрим следующий сценарий
Предположим, образовательная компания готовит своих студентов (клиентов) к сертификационному экзамену. Поскольку компания отметила высокий процент одобрения студентов, подписавшихся на годовой план, она внедрила следующие правила в своей бизнес-модели:
Компания недавно создала группу данных, способную предсказывать с помощьюмоделей машинного обучения, студент будет одобрен или не одобрен в соответствии с моделированием и некоторыми показателями, полученными в результате решения вопросов на онлайн-платформе компании. Таким образом, компания предлагаетдва сценария:
* Если студент-подписчик получает отказ на экзамене, компания возмещает 20 % его инвестиций по годовому плану.
* В противном случае будет взиматься комиссия в размере 5 % (от годового плана).
Группа данныхполучиладве модели со следующей точностью:
Какую прибыль (в долларах) каждая модель принесет компании?
Теперь пришло время для Матрицы путаницы…
Наивный Байес
Случайный лес
Помимо использования в качестве основы для получения показателей производительности классификационной модели машинного обучения, матрица путаницы также может дайте нам финансовую оценку предлагаемого решения. Чтобы количественно оценить прибыль (в долларах США) для компании в обоих случаях, давайте предположим, что годовой план составляет 80,00 долларов США для студентов и составляет 3000 студентов. . Следовательно, прибыль или убыток (в зависимости от результата, который может быть положительным или отрицательным) каждой модели определяется по формуле:
Сумма ($) = -(убыток) * Верно отрицательные результаты - (убыток) * Ложноположительные результаты + (прибыль) * Ложноотрицательные результаты + (прибыль) * Верно положительные результаты.
Финансовые результаты
Финансовые результаты гипотетически проиллюстрированы ниже.
Заключение
Модель классификации с более высокой точностью на 6,2% принесла финансовую прибыль компании на 7,9% выше. Однако модели с более низкой точностью иногда могут быть более прибыльными, несмотря на то, что это не так. Поэтому, помимо анализа показателей эффективности классификационныхалгоритмов (и моделей), всегда уместна оценка решение в финансовых терминах.
Вам понравилось содержание? Затем подпишитесь на меня на Medium, чтобы регулярно получать больше контента Data Science & Analytics, подобного этому. Кроме того, не стесняйтесь связаться со мной в Linkedin.
