Как команды могут предотвратить влияние структурного неравенства и их бессознательных предубеждений на системы искусственного интеллекта?
Проект AI Blindspot предлагает процесс открытия, чтобы помочь организациям бороться с предубеждениями и создавать более совершенные системы ИИ. Проект создан в ходе программы Ассамблея 2019 года, организованной Berkman Klein Center и MIT Media Lab.
AI Blindspot призван стимулировать обсуждение и обсуждение подводных камней систем ИИ. Для этого мы создали сайт и набор печатных карточек как провокацию, так и инструмент.
Смягчение бессознательных предубеждений и структурного неравенства
Слепые пятна могут возникать из-за упущений в рабочем процессе команды, бессознательных предубеждений или структурного неравенства, укоренившегося в обществе. Например, не изучив и тщательно не обдумав в начале пользователей продукта, команды могут создавать продукты на основе нерепрезентативных данных, что может привести к потенциальному вреду после того, как продукт будет использован. Мы видели, как это происходит в секторе здравоохранения. Исследователи из Германии, США и Франции разработали алгоритм, который выявляет рак кожи точнее, чем дерматологи, но только на светлой коже. Для рака кожи нет демографически разнообразного набора данных, поэтому алгоритм обучался на нерепрезентативных данных.
Слепые зоны могут возникнуть на любом этапе конвейера разработки модели, начиная с момента ее первоначального осмысления и заканчивая ее построением и даже после ее развертывания. Ни один человек не застрахован от слепых зон, и хотя мы можем приблизительно указать их местонахождение, обычно их трудно заметить. То же самое можно сказать и о том, как разрабатываются алгоритмические технологии — даже при самых лучших намерениях то, чего мы никогда не ожидали, может в конечном итоге причинить большой вред.
Последствия слепых зон трудно предвидеть, но они, как правило, оказывают неблагоприятное воздействие на исторически маргинализированные сообщества. Этот вред можно уменьшить, если мы все намеренно предпримем меры для защиты от него.
В связи с недавними призывами к технологической отрасли взять на себя большую ответственность за свои изобретения двойного назначения, нам необходимо систематическое рассмотрение вреда, который может быть нанесен до разработки и запуска продуктов. Мы предлагаем AI Blindspot в качестве провокации, чтобы помочь нам создавать более совершенные системы.
Помогите нам улучшить проект «AI Blindspot» на MozFest 2019
Мы взаимодействуем с заинтересованными сторонами в сообществе ИИ, такими как политики, активисты, журналисты, менеджеры по продуктам и академические исследователи, для проведения пользовательских тестов, опросов и семинаров для сбора отзывов и повторения содержания, формата и представления этого инструмента — и нам нужна твоя помощь!
Два члена нашей команды AI Blindspot, Аня Кальдерон и Хонг Цюй, проведут воркшоп на MozFest 26 октября. Если вы собираетесь на MozFest, мы призываем вас присоединиться к нам. Мы будем раздавать участникам наборы карточек AI Blindspot.
Вы также можете найти нас в Твиттере @aiblindspot и написать нам по электронной почте [email protected].
