В этом посте мы сосредоточимся на возникающей предвзятости среди наиболее распространенных предубеждений в ИИ.
Согласно Фридману и соавт. (1996), возникающие предубеждения являются результатом использования ИИ в непредвиденных контекстах. В технологии как таковой их нет. Вместо этого они возникают из-за взаимодействия между технологией и пользователями.
Чем интерактивнее и умнее становится технология; более распространены эмерджентные предубеждения. Вот почему ИИ — это место для возникающих предубеждений.
На практике это означает, что обучающие данные не соответствуют контексту, с которым алгоритм сталкивается в реальном мире. Вот некоторые изменяющиеся контексты, которые могут привести к возникающим предубеждениям:
❌ Культурные сдвиги
В приложении для продажи товаров одной из причин возникающих предубеждений является сезонность. Это означает, что покупательское поведение меняется в зависимости от сезона. Например, в сезон зимних праздников продажи могут быть выше, чем летом. В этом случае модель ИИ, предсказывающая продажи, будет давать неправильные результаты, если ее обучить зимой и применить летом.
❌ Рыночный сдвиг
Модели ИИ часто используются в финансах и трейдинге для автоматического открытия позиций на рынках. Но эти модели ломаются, когда рынки радикально меняются, потому что они предполагают, что прошлые корреляции указывают на будущее. Наглядным примером является алгоритм прогнозирования цен на жилье Zillow. «Алгоритмы Zillow не учитывали недавнее замедление роста цен на жилье — даже когда рост цен замедлился, Zillow продолжал покупать больше домов и платить за них больше», — сообщает FT.
❌ Моральные сдвиги
Хорошо известным примером является чат-бот Twitter с искусственным интеллектом по имени Tay, разработанный Microsoft. Менее чем за день Тай превратился в расистского и сексистского неонацистского бота, что вынудило Microsoft удалить его. Здесь предубеждения возникают не из-за плохого программирования, а из взаимодействия с людьми. И когда пользователи-люди становятся троллями и ведут себя как сторонники превосходства белой расы, Тэй быстро приспосабливается к подражанию людям.
Вот некоторые средства от возникающих предубеждений:
✅ Реактивные решения
Эти решения состоят в переобучении модели в ответ на триггерный механизм, такой как снижение точности прогнозирования или изменение статистики процесса генерации данных. Недостатком реактивных подходов является то, что производительность может снижаться до тех пор, пока изменение не будет обнаружено.
✅ Решения для отслеживания
Эти решения состоят в постоянном обновлении модели путем ее переобучения без запуска механизма. Хорошим решением может стать поэтапное обучение, предложенное Элвеллом и Поликаром (2011). Он заключается в поддержании набора классификаторов, где один новый классификатор обучается на самой последней партии примеров и заменяет самый старый классификатор в ансамбле.
В Giskard AI мы помогаем специалистам по ИИ обнаруживать меняющиеся контексты до того, как они приведут к возникающим предубеждениям после их развертывания.
Хотите знать больше?
✋ Подпишитесь на нашу страницу в LinkedIn по адресу https://buff.ly/3mVtgK4.
Ваше здоровье,
Жан-Мари Джон-Мэтьюз
Библиография:
Фридман, Б., и Ниссенбаум, Х. (1996). Предвзятость в компьютерных системах. Транзакции ACM в информационных системах
Элвелл, Р., и Поликар, Р. (2011). Постепенное изучение дрейфа концепции в нестационарной среде. Транзакции IEEE в нейронных сетях
