Определение, выявление и предотвращение предвзятости

Алгоритмы ИИ все чаще используются в самых разных областях для принятия решений, влияющих на нашу повседневную жизнь. Вот некоторые примеры: набор персонала, здравоохранение, уголовное правосудие, оценка кредитного риска и т. Д. Он используется не только частными предприятиями, но и правительствами.

Одним из предполагаемых преимуществ использования ИИ или машин в целом для принятия решений является то, что они могут быть беспристрастными, объективными и могут не иметь тех же предубеждений, что и люди, и, следовательно, могут быть более «справедливыми». Некоторые из недавних исследований показали, что системы ИИ также могут быть предвзятыми.

Imagenet, общедоступная база данных изображений, которая используется в различных приложениях компьютерного зрения, таких как распознавание лиц, недавно удалила 600 тыс. изображений, когда художественный проект выявил расовые предубеждения в своих изображениях. Все это привело к повышению осведомленности о предвзятости в ИИ и подняло основные вопросы, связанные с доверием ко многим системам ИИ.

Что такое смещение?

Прежде чем мы углубимся в эту тему, важно определить предвзятость. Вот определение из Википедии

Предубеждение - это несоразмерный вес в пользу или против идеи или вещи, как правило, ограниченный, предвзятый или несправедливый.

Было проведено множество исследований предубеждений, от которых страдают люди. Нобелевский лауреат Даниэль Канеман говорит о различных предубеждениях в человеческой интуиции в своей превосходной книге Мышление быстро и медленно.

Пример предвзятости, от которой обычно страдают люди, - систематическая ошибка подтверждения. Это определяется как тенденция искать, интерпретировать и вспоминать информацию таким образом, чтобы подтвердить или укрепить ранее существовавшие убеждения. Хотя можно подумать, что появление Интернета и бурный рост количества доступной нам информации (данных) приведет нас к «истине», предвзятость подтверждения - это то, что заставляет людей выборочно интерпретировать информацию и зависеть от того, во что они уже верят.

Тематические исследования предвзятости ИИ

Известным примером использования AI Bias является система КОМПАС, которая используется судами США для оценки вероятности того, что обвиняемый станет рецидивистом. Исследование программного обеспечения показало, что, хотя система была разработана для максимальной общей точности, количество ложных срабатываний для афроамериканцев было вдвое выше, чем для кавказцев.

Еще один популярный пример - инструмент найма AI от Amazon. Amazon разработал инструмент для помощи в найме, который помогал проверять резюме. Его обучили на 10-летних данных о внутренних решениях Amazon по найму. Позже Amazon решила утилизировать инструмент, когда было обнаружено, что инструмент с большей вероятностью выберет мужчин, а не женщин.

Математическое определение смещения

Хотя все, что мы рассмотрели до сих пор, хорошо, но определение предвзятости и справедливости имеет долгую историю дискуссий в области права, социальных наук и философии. Трудно прийти к единому мнению относительно их точного определения. Что делает его еще более сложным в контексте моделей ИИ, так это то, что нам нужно определять его в математических терминах, поскольку системы ИИ понимают только числа и математические операции.

Важно отличать систематические ошибки от случайных ошибок. Системы ИИ нередко допускают ошибки, потому что они упрощают сложный реальный мир. Но предубеждения - это систематические ошибки, которые происходят в некоторой степени предсказуемым образом. Предубеждения могут заставить человека действовать несправедливо против отдельного человека или группы.

Некоторые люди пытались определить отсутствие предвзятости в системах ИИ путем уравновешивания ложноположительных и ложноотрицательных оценок в прогнозах по группам, например, по полу, расе и т. Д. Но это определение не является достаточно общим из-за различных форм, в которых может проявляться предвзятость. Честно говоря, это все еще открытая область исследований.

Как предвзятость проникает в системы ИИ?

Возникает естественный вопрос: как системы ИИ становятся предвзятыми? Могут ли они быть предвзятыми, даже если они явно не кодифицированы как предвзятые? Ниже приводится список некоторых возможных причин, по которым система ИИ может быть предвзятой:

  • Выбор атрибутов: если в алгоритмах используются такие атрибуты, как возраст, пол, этническая принадлежность, алгоритм может узнать взаимосвязь между этими атрибутами и целью, что может привести к смещению алгоритмов.
  • Сбор данных / выборка. Часто данные могут собираться или отбираться таким образом, чтобы приводить к пере- или неполному представлению группы, что может приводить к предвзятости. Существует известное тематическое исследование приложения Street Bump, разработанное муниципалитетом Бостона для обнаружения выбоин, из которого следует, что в более богатых районах было больше ухабов просто потому, что люди, живущие в богатых районах, с большей вероятностью использовали это приложение.
  • Неявная предвзятость в данных. Большинство систем искусственного интеллекта изучают закономерности на основе данных, которые предоставляются для их обучения. Несколько раз данные могут быть созданы людьми с их встроенными предубеждениями. Если это так, то результирующая система ИИ также будет отражать эти предубеждения, поскольку система ИИ хороша ровно настолько, насколько хороши данные, подаваемые для их обучения. Инцидент Imagenet, о котором я говорил ранее, является хорошим примером этого типа.
  • Показатель оптимизации: системы ИИ обычно обучаются максимизировать / минимизировать определенный показатель, например частоту ошибок для всех данных. Пока система ИИ этим занимается, нет никаких гарантий, что она не сделает ничего, что мы, люди, не сочли бы «справедливым».

Как избежать предвзятости ИИ?

Хотя это все еще открытая область исследований, вот несколько шагов, которые вы можете предпринять, чтобы уменьшить предвзятость в своих приложениях ИИ:

  • Используйте репрезентативные данные. Старайтесь активно искать источники систематической ошибки в данных и / или способах их сбора и выборки. Внимательно изучите, как были аннотированы данные, а также мотивацию и стимулы людей, аннотирующих данные.
  • Проведите аудит модели: внимательно изучите прогнозы вашей модели, сравните и сопоставьте ложноположительные и ложноотрицательные показатели ваших прогнозов в различных подгруппах. Подгруппы, защищенные законом, могли бы стать хорошим началом.
  • Сосредоточьтесь на объяснимости модели. Многие системы искусственного интеллекта можно сравнить с черными ящиками с ограниченным пониманием того, почему они делают определенные прогнозы. В области объяснимости модели ведется много исследовательской работы - понимание того, почему модель делает определенный прогноз, может помочь в обнаружении и устранении систематических ошибок.
  • Сторонние инструменты. Существуют различные сторонние инструменты, которые могут помочь вам оценить предвзятость на различных этапах жизненного цикла ИИ. Взгляните на Набор инструментов с открытым исходным кодом IBM AI Fairness 360 в качестве примера.
  • Нанимайте разнообразные команды: разнообразие в вашей команде может помочь выявить различные точки зрения в поисках путей для предвзятости.

Резюме

В последнее время наблюдается феноменальный рост приложений искусственного интеллекта. Были реальные случаи, когда возникали вопросы о справедливости решений, принимаемых системами ИИ. Важно справиться с проблемой предвзятости, чтобы системы искусственного интеллекта продолжали пользоваться доверием организаций и масс. В этой области ведется много многообещающей работы, будем надеяться, что все это приведет к тому, что приложения ИИ станут более справедливыми, а мир станет лучшим местом для жизни для всех.