Что происходит, когда ИИ ошибается
ЭТИКА ИИ
Яттиш Рамхори
Изменяться и приспосабливаться неслабо. Гибкость - это особая сила. Фактически, эта гибкость в сочетании с силой - вот что сделает нас стойкими и неудержимыми. ~ МАРК АВРЕЛИУС, РАЗМЫШЛЕНИЯ, 8.16
Искусственный интеллект или ИИ, как его обычно называют, представляет собой систему математических алгоритмов, математических вероятностей и статистики, предназначенную для обучения на основе данных обучения, чтобы она могла делать прогнозы в реальных приложениях. Но математические вероятности никогда не могут быть полностью точными, и поскольку ничто, что является математической вероятностью, никогда не может быть точным на 100%, это обязательно приведет к иногда катастрофическим сбоям.
Если ваш ноутбук выйдет из строя или взломан, это может быть не более чем незначительная неприятность, но тем более важно, чтобы система искусственного интеллекта делала то, что вы хотите, если она управляет вашей машиной, вашим самолетом, вашим кардиостимулятором, вашей автоматической торговлей. системы или вашей электросети. Еще одна краткосрочная задача - предотвратить разрушительную гонку вооружений в летальном автономном оружии.
Итак, что происходит, когда алгоритм ИИ работает ужасно неправильно?
Последние данные переписи населения США показывают, что чернокожее и латиноамериканское население исторически не финансировалось. Чтобы ИИ учился, ему нужно кормить данными. Если данные показывают, что определенным слоям населения чаще отказывают в ссудах, они могут ложно узнать, что эти сегменты подвержены более высоким кредитным рискам, что увековечивает отрицательный цикл.
В другом примере Amazon отказалась от алгоритма приема на работу в 2018 году, потому что он отказался от кандидатов-женщин в пользу кандидатов-мужчин на технические должности. Причина была проста - в программу обучения были введены данные прошлых соискателей и сотрудников, большинство из которых были мужчинами. Если ИИ будет учитывать только прошлые данные, будущее никогда не изменится.
Весной 2016 года Microsoft столкнулась с кошмаром связей с общественностью, когда ее чат-бот в Твиттере - экспериментальный персонаж ИИ по имени Тэй - радикально отклонился от сообщения и начал извергать оскорбительные заявления и даже нацистские настроения. «Гитлер был прав», - написал в Твиттере страшный чат-бот. Также: «11 сентября было внутренней работой».
Честно говоря, Тай по сути повторяла оскорбительные заявления других (людей) пользователей, которые сознательно пытались спровоцировать ее. Направленный на желанную аудиторию от 18 до 24 лет, чат-бот был разработан для имитации языковых моделей женщин-миллениалов и изначально использовался в различных социальных сетях. С помощью машинного обучения и адаптивных алгоритмов Тэй мог приблизить разговор, обрабатывая введенные фразы и смешивая другие релевантные данные. Увы, как и многие современные молодые люди, Тай обнаружила, что общается не с той компанией.
28 марта в Темпе, штат Аризона, в результате первого известного случая гибели пешехода, связанного с автономным транспортным средством, на дороге общего пользования беспилотный внедорожник Uber сбил пешехода-женщину. Автомобиль Uber находился в автономном режиме с водителем-безопасником за рулем.
Так что случилось? Uber обнаружил, что его программное обеспечение для самоуправления решило не предпринимать никаких действий после того, как датчики автомобиля обнаружили пешехода. Автономный режим Uber отключает установленную на заводе систему автоматического экстренного торможения Volvo, согласно предварительному отчету об аварии Национального совета безопасности на транспорте США.
После трагедии Uber приостановил тестирование автономного вождения в городах Северной Америки, а Nvidia и Toyota также прекратили свои дорожные тесты автономного вождения в США. Спустя восемь месяцев после аварии Uber объявил о планах возобновить дорожные испытания автономного вождения в Питтсбурге, хотя будущее компании с автономным вождением остается неопределенным.
Беспилотные автомобили - это наиболее актуальная проблема, связанная с искусственным интеллектом, для страховой отрасли, поскольку недавние достижения таких компаний, как Google, Uber и Volvo, позволяют предположить, что они будут доминировать на дорогах в течение следующего десятилетия. В июне британская страховая компания Adrian Flux начала предлагать первый полис, специально предназначенный для автономных и частично автоматизированных транспортных средств. Полис покрывает типичные основные компоненты автомобильного страхования, такие как повреждение, пожар и кража, а также несчастные случаи, связанные с ИИ - потеря или повреждение в результате сбоев в автомобильных системах без водителя, вмешательство хакеров, проникших в операционную систему автомобиля, невозможность установить обновления программного обеспечения транспортного средства и исправления безопасности, сбой спутников или сбои, влияющие на навигационные системы, или сбой операционной системы транспортного средства производителя или другого авторизованного программного обеспечения.
Это важный шаг вперед, демонстрирующий, что отрасль наконец решила проблему.
Объяснимый ИИ
Объяснимый ИИ означает вопрос у ИИ-приложения, почему оно приняло такое решение. Агентство перспективных исследовательских проектов Министерства обороны США (DARPA), входящее в состав Министерства обороны США, в настоящее время работает над проектом под названием Explainable AI Project по разработке методов, которые позволят системам не только объяснять процесс принятия решений, но и предлагать понимание сильных и слабых сторон их мышления. Объяснимый ИИ помогает нам понять, насколько сильно следует полагаться на результаты и как помочь ИИ совершенствоваться.
Auditable AI просит третьи стороны проверить мышление системы, задавая ей широкий спектр различных запросов и измеряя результаты на предмет непреднамеренной предвзятости или другого ошибочного мышления.
Фей-Фей Ли, пионер ИИ, бывший руководитель Google и содиректор Института ИИ, ориентированного на человека при Стэнфордском университете, утверждает, что еще один способ помочь устранить предвзятость, особенно в областях гендерной и расовой дискриминации, - это получить больше женщины и цветные люди, участвующие в разработке систем искусственного интеллекта. Хотя это не означает, что программисты виноваты во внедрении предвзятости в ИИ, просто привлечение более широкого круга людей искоренит бессознательные склонности и выявит упущенные из виду проблемы.
Несколько вопросов для всех нас.
Нет никаких сомнений в том, что ИИ уже оказывает значительное влияние на нашу жизнь - зачастую мы даже не осознаем этого. Какие у вас есть вопросы или опасения по поводу того, как это может повлиять на вас, тех, кого вы знаете, или тех, кому вы служите? Если ваша организация использует искусственный интеллект в той или иной форме в процессе принятия решений, какие шаги вы предпринимаете, чтобы предвзятость не появилась случайно? Не стесняйтесь делиться своими мыслями в разделе комментариев ниже.
Получите доступ к экспертному обзору - Подпишитесь на DDI Intel
