В волшебном городе Dreamland гадалка поразила всех своими сверхъестественными предсказаниями. Люди всегда трепетали перед его способностями и точностью, но фокусник никогда не раскрывал своих «самых сокровенных секретов». Это было похоже на волшебную коробку, которая показывала будущее. Точно такие же модели машинного обучения генерируют прогнозы и часто называются «черными ящиками».
По мере увеличения сложности модели становится сложно объяснить, как модель пришла к предсказаниям. Подобно этому прорицателю, который никогда не раскрывал своих секретов, внутренняя работа моделей остается скрытой, и мы можем только оценить способности, не понимая их.
Но подождите... вот решение, т.е. «Объяснимый ИИ».
Давайте сначала обратимся к Слону в комнате: «Объяснимый ИИ»
Что такое объяснимый ИИ?
Это изучение того, как и почему модель делает прогнозы и приходит к определенным решениям.
Почему важен объяснимый ИИ?
Системы искусственного интеллекта стали повсеместными и используются, в частности, в секторах здравоохранения, сельского хозяйства, транспорта и производства. Не следует недооценивать важность объяснимого ИИ, потому что он может помочь нам:
- Выявляйте потенциальные погрешности модели и, в конечном итоге, принимайте обоснованные и ответственные решения.
- Пример того, как важно понимать, что и зачем мы строим, — фильм «M3GAN». Робототехник «Джемма» становится одержима совершенствованием своей куклы с искусственным интеллектом «M3GAN», что приводит к катастрофическим результатам. Это иллюстрирует потенциальные риски создания интеллектуальных машин и подчеркивает необходимость понимания систем ИИ для предотвращения нежелательных эффектов.
- Дайте пользователям возможность доверять результатам модели, что также может оказать долгосрочное влияние на ваших заинтересованных лиц.
- Он способствует прозрачности и соблюдению нормативных требований, что имеет решающее значение для обеспечения этичного и ответственного использования ИИ.
Объяснимые методы ИИ
Объяснимые методы искусственного интеллекта могут быть либо независимыми от модели (методы интерпретации могут применяться к любой модели), либо специфичными для модели.
Методы, не зависящие от модели, можно разделить на глобальные и локальные методы.
Глобальные методы: отображает общую картину и то, как особенности данных влияют на результат. ICE и PDP являются некоторыми примерами.
Локальные методы. Сосредоточьтесь на создании индивидуальных прогнозов.
На рисунке ниже представлены некоторые методы XAI, основанные на этой классификации.
Если вы хотите изучить это подробно, вот несколько хороших книг, которые стоит прочитать:
Практический объяснимый ИИ (XAI) с Python, Денис Ротман»
Глобальные методы
- PDP: Графики частичной зависимости. Графики PDP показывают вклад 1 или 2 функций в прогнозируемый результат модели. С помощью PDP можно оценить, являются ли отношения линейными, сложными и т. д.
Возьмем пример данных о совместном использовании велосипедов, как показано на официальной странице Sci-kit Learn.
На приведенном выше рисунке 2 показано влияние температуры и влажности на целевую переменную (количество прокатов велосипедов). Вы можете ясно видеть, что количество прокатов велосипедов увеличивается с повышением температуры и уменьшается с увеличением влажности.
2. ALE: Накопленные локальные эффекты
Графики PDP предполагают, что влияние каждой переменной-предиктора не зависит от других переменных-предикторов. Что, если функции взаимосвязаны, будете ли вы по-прежнему доверять PDP?
ALE являются беспристрастной альтернативой графикам частичной зависимости (PDP). Мы можем определить влияние входной функции на прогноз модели машинного обучения, усредняя изменения в прогнозе модели. Этот процесс повторяется для всего набора данных, и эффекты каждого окна накапливаются в наборе данных для создания графика ALE. Эти графики могут помочь выявить нелинейности, взаимодействия и другие закономерности в поведении модели.
**************************************************************************
Локальные методы:
- LIME: Локальные интерпретируемые объяснения, не зависящие от модели
LIME работает, создавая модель «прокси», которая представляет собой упрощенную версию исходной модели, чтобы объяснить, что она приняла конкретное решение для данного ввода. Он изменяет значения признаков одной выборки данных и измеряет результирующее влияние на выходные данные модели.
2. ICE: Индивидуальное условное ожидание
ICE похож на PDP, но фиксирует отдельные взаимодействия, в отличие от PDP, который фокусируется на общем среднем.
SHAP: аддитивные объяснения Шепли
SHAP объясняет, как модель пришла к конкретному прогнозу для данного экземпляра, вычислив вклад функции в прогноз. Их можно использовать как для локальных, так и для глобальных объяснений.
Подробнее о SHAP можно прочитать в оригинальной документации здесь
Мы будем изучать каждый из этих методов по отдельности в нашей следующей серии. Так что оставайтесь на связи с Journey With Data в Twitter, LinkedIn и Youtube.
