Привет 👋, я чидубем, и в этой статье я раскрою скрытые детали в матрице путаницы.
ПОЧЕМУ МАТРИЦА СМЕШАНИЙ? 🤨
Если вы когда-либо создавали классификационную модель, вы, вероятно, определяли качество своей модели, возможно, проверяя ее точность. Ну, это хорошо, но проверьте это;
Представьте, что у вас есть модель, которая предсказывает кошек, когда она обучена на 1000 признаков, содержащих 990 кошек и 10 собак, если мы должны рассчитать точность, она будет 99%. Но здесь модель совершенно неверно классифицирует все яблоки. Поэтому иногда нам нужны более качественные показатели для оценки общего качества и производительности нашей модели.
ЧТО ТАКОЕ МАТРИЦА СМЕШАННОСТИ? 🤔
Матрица путаницы, также известная как матрица ошибок, представляет собой инструмент, используемый для наилучшей интерпретации алгоритма классификации. Он наглядно показывает тип ошибки, которую делает модель, и в каком классе она допустила ошибку.
Забавный факт: это говорит нам, где модель запуталась 😂.
Итак, выше приведена типичная матрица путаницы 2 x 2, справа у нас есть ожидаемые классы, также известные как фактические классы, которые модель должна предсказывать, вверху у нас есть предсказанные значения, которые модель дала нам, это больше похоже на результаты моделей.
На самом деле вы будете использовать уже созданные библиотеки для получения матрицы путаницы. Матрица путаницы может быть любого размера, она просто зависит от количества классов (это матрица N x N). Но давайте рассмотрим простую матрицу путаницы 2 x 2, чтобы понять, как ее читать и знать, как она работает.
Представьте, что в задаче классификации прогнозирования класса A мы имеем:
100 образцов | Класс А имеет 62 | Класс B имеет 38
Модель предсказывает, что 53 правильно предсказаны как класс A
Модель предсказывает 19 правильно предсказанных как класс B
Если мы заполним Данные, которые были предоставлены нам в Матрице путаницы, это будет выглядеть примерно так 👇
Итак, как я это заполнил;
Прежде всего, общее число в матрице путаницы ( 53 + 9 + 19 + 19 ) должно дать мне номер выборки ( 100 ).
Начиная с первой ячейки — сколько выборок было правильно предсказано как класс A, которые ожидались/фактически относятся к классу A? — 53
Вторая ячейка. Сколько классов было неверно предсказано как класс B, но должно было быть предсказано как класс A? — Мы уже знаем, что класс А имеет 62 образца, поэтому будет -> 62–53 = 9
Четвертая ячейка — сколько образцов было правильно предсказано как класс, который ожидался/фактически был классом B? — 19
Третья ячейка — сколько классов было неправильно предсказано как класс A, но должно было быть предсказано как класс B? — Мы уже знаем, что класс B имеет 38 образцов, поэтому будет -> 38–19 = 19
Возможно, вы захотите еще раз не торопиться со всем процессом для лучшего понимания 🙂.
Итак, это проблема двоичной классификации, нам в основном нужен один класс из двух классов. Поэтому мы используем термин ПОЗИТИВНЫЙ для обозначения результатов, которые мы хотим обнаружить, и ОТРИЦАТЕЛЬНЫЙ для всего остального.
Возвращаясь к нашей матрице путаницы -›
Вы можете видеть, что происходит сейчас,
53 образца, которые, как мы ОЖИДАЛИ, будут ПОЛОЖИТЕЛЬНЫМИ, оказались ПРОГНОЗИРОВАННЫМИ ПОЛОЖИТЕЛЬНЫМИ,что делает их ИСТИННО ПОЛОЖИТЕЛЬНЫМИ ( TP )
9 smaps, которые ОЖИДАЛИ быть ПОЛОЖИТЕЛЬНЫМИ, оказались ПРОГНОЗИРОВАННЫМИ ОТРИЦАТЕЛЬНЫМИ, что делает их ЛОЖНООТРИЦАТЕЛЬНЫМИ ( FN )
19 образцов (слева), которые мы ОЖИДАЛИ быть ОТРИЦАТЕЛЬНЫМИ, оказались ПРОГНОЗИРОВАННЫМИ ПОЛОЖИТЕЛЬНЫМИ, поэтому >ЛОЖНОПОЛОЖИТЕЛЬНЫЙ ( FP )
19 образцов (справа), которые ОЖИДАЛИ быть ОТРИЦАТЕЛЬНЫМИ, оказались ПРОГНОЗИРОВАННЫМИ ОТРИЦАТЕЛЬНЫМИ, что делает их >ИСТИННО ОТРИЦАТЕЛЬНО ( TN )
УРА!! 🤩…….. Итак, теперь у нас есть эти значения, мы можем рассчитать ТОЧНОСТЬ и НАПОМИНАТЬ…. Короче говоря, Точность можно рассматривать как КАЧЕСТВО, а отзыв можно рассматривать как меру КОЛИЧЕСТВА.
Таким образом, с помощью этих формул мы можем рассчитать точность и полноту нашей модели. Но между ними есть компромисс☹️. Идея компромисса между точностью и отзывом заключается в том, что когда человек меняет порог для определения того, является ли класс положительным или отрицательным, чаша весов склоняется. Под этим я подразумеваю, что точность увеличится, а отзыв уменьшится, или наоборот.
К счастью, мы можем объединить их обоих, и это называется F1-Score. Оценка F1 – это среднее гармоническое между точностью и отзывом.
На данный момент у вас должно быть все, что вам нужно, чтобы понять матрицу путаницы. Основная задача матрицы путаницы — увеличить масштаб модели и указать на ошибки, которые делает модель. Это дает нам лучшую стратегию, которую мы могли бы использовать для улучшения модели.
Вот и все. СПАСИБО, что зашли так далеко…. ✌
О чем вы хотите, чтобы я рассказал дальше, вы можете написать в комментариях 👇
