Доктор Френс Крегер является профессором-исследователем в Центре доверия, мира и социальных отношений Университета Ковентри, Великобритания. Он получил докторскую степень в Кембриджском университете, и в течение последних 15 лет его исследования были сосредоточены на роли и природе доверия. Френс разговаривал с бывшим писателем PAIR Дэвидом Вайнбергером в мае 2020 года. Узнайте больше о работе Френса на www.frenskroeger.com
Дэвид: Вы писали, что необходим новый подход к доверию к ИИ и машинному обучению. Почему?
Френс: От дизайнеров до регулирующих органов предполагалось, что если вы объясните свои алгоритмы, пользователи будут доверять вашему AI-приложению. Но это основано на целом ряде основополагающих предположений, в том числе о том, что разработчики ИИ должны сосредоточиться на создании доверия к продуктам, а способ сделать это - передать информацию о продукте. Я думаю, что опыт показывает, что доверие к сложным продуктам часто исходит в первую очередь от надежной экосистемы.
Дэвид: Что плохого в том, чтобы доверять информации о продукте?
Френс: Ничего, за исключением того, что такой подход слишком часто предполагает, что технология на самом деле уже заслуживает доверия, поэтому все, что нам, разработчикам приложений ИИ, нужно сделать, это сообщить об этой надежности. Это также может включать предположение, что мы знаем, о чем пользователь хочет знать, чтобы доверять приложению.
Я думаю, что наиболее важная проблема часто заключается в том, что дизайнеры дадут представление о том, как работают их алгоритмы, но либо объяснения все еще довольно технические, и большинство пользователей их не понимают, либо объяснения довольно упрощены, но пользователям все равно нужно доверяйте самим объяснениям - как пользователь может узнать, что они на самом деле являются точным отражением того, что на самом деле происходит? Таким образом, объяснения редко могут полностью решить проблему доверия. Но у пользователей часто действительно есть базовое повседневное понимание того, как работают технологические экосистемы.
Дэвид: Вы можете привести пример такой экосистемы?
Френс: Их много, но я всегда говорю: для того, чтобы добиться надлежащего доверия, нам понадобятся люди, которые будут доверять ИИ так же, как они доверяют авиации.
Когда вы садитесь в самолет, на первый взгляд кажется, что вы доверяете продукту - самолету и услуге, которую он предоставляет, - но на самом деле ваше доверие основано на ваших знаниях об экосистеме в целом. Вы не эксперт в авиации, но знаете, что ею управляет регулирующий аппарат, вы знаете, что существуют системы, позволяющие пилоту не летать в нетрезвом виде, правила того, как часто обслуживаются самолеты, и так далее. Более того, вы знаете, что любой, кто занимается проектированием машин, имеет степень инженера, а степень инженера кое-что означает, для этого существуют стандарты. Вы знаете, что тот, кому разрешено называть себя пилотом, прошел серьезную подготовку. Это знания об этой экосистеме, но это социальные, повседневные знания - знания человека, не разбирающегося в технологиях.
Нам нужно одинаковое повседневное понимание экосистемы ИИ, хотя институциональная и регулирующая инфраструктуры, вероятно, будут сильно отличаться от таковых в авиации. ИИ является частью всего, от автомобилей до голосовых помощников, и для создания этого доверия нам нужны механизмы управления, адаптированные к различным уровням и типам рисков, связанных с различными приложениями ИИ. Если и существовала какая-то технология, которую нам было слишком сложно понять, так это вот она. Поэтому нам нужно создать экосистему, которой мы можем доверять и которая дает соответствующее доверие ИИ, который мы используем.
Дэвид: Красиво сказано. Но что касается самолетов, разве мы не доверяем им, потому что они почти никогда не разбиваются. Имеет ли это значение для ИИ?
Френс: Конечно, гораздо труднее заметить ошибки, совершаемые ИИ, особенно в ситуациях с низкими ставками. Возможно, он дал неправильную рекомендацию, и вы никогда не узнаете. Кроме того, данные о безопасности самолетов довольно двоичны, но машинное обучение всегда вероятностно в своих прогнозах: мы можем доверять механизму рекомендаций фильмов AI, который верен только в 75% случаев, потому что мы ожидаем измерить его успех с точки зрения вероятности. Но с безопасностью в самолетах дело обстоит иначе. Так что нам придется внести изменения. Но если мы часто даже не можем сказать, пошло ли что-то не так, что делает еще более важным иметь фоновое доверие, основанное на других вещах, включая доверие, которое относится к честности и доброжелательности в более широком смысле.
Дэвид: Как вы думаете, эти надежные экосистемы будут необходимы для того, чтобы пользователи могли доверять видам ИИ, невидимым образом внедренным повсюду, от предложений с опережающим вводом до отчетов о погоде? Или в некоторых случаях может быть важнее чистая надежность?
Френс: Опять же, может быть, даже больше. Если все это невидимо, но у вас есть представление о том, что технология работает повсюду, это может стать для вас более подозрительным, а не менее, - но если вы верите, что существует экосистема, которая делает ИИ справедливее и безопаснее, о нем можно беспокоиться гораздо меньше. Вы также хотите избежать «негативной реакции доверия», когда люди используют технологию довольно часто и бездумно, но затем, когда они узнают о ней больше - например, как она обрабатывает и анализирует их данные и т. Д. - они думают: «Я был неправ, так доверчиво, я не буду повторять эту ошибку ».
Дэвид: Как будет выглядеть надежная экосистема для ИИ?
Френс: Пока никто не знает. Разобраться в этом будет одной из основных задач на ближайшие годы.
Дэвид: Готов поспорить, у вас есть несколько идей.
Френс: Да, я работал над этим вопросом. Потребуется сочетание факторов. Во-первых, вы переключаете внимание на процессы - процессы, которые могут более надежно обеспечить надежность. Точно так же, как мы доверяем самолетам, потому что у нас есть приблизительное представление о процессах обеспечения безопасности и защиты, мы будем больше доверять ИИ, когда у нас будет такое же чувство, что он разрабатывается и используется на основе надежных процессов.
Крупным компаниям придется заняться саморегулированием - коллективным, совместным саморегулированием. Плюс правительства и независимые эксперты будут играть важную роль. Это будет означать некоторое институциональное строительство. Да, я знаю, это звучит пугающе, порождает массу бюрократии и так далее. Но не все учреждения должны быть большими и громоздкими, существуют степени институционализации - на самом деле я уже довольно много писал об этом, - чтобы вы могли строить сети, которые будут легкими и достаточно маневренными.
Это потребует вовлечения в процесс внешних людей.
Дэвид: Какие внешние люди?
Френс: Я бы хотел сотрудничать между разными компаниями и сотрудничать с учеными, социологами и государственными служащими, у которых нет собаки в борьбе.
Дэвид: Разве для того, чтобы результаты были достоверными, не должны ли вообще существовать процессы, в которых участвуют затронутые сообщества?
Френс: Определенно. Одна из больших проблем подхода, который считает, что единственный способ завоевать доверие состоит в том, чтобы дизайнеры объясняли что-то пользователям, заключается в том, что мы недостаточно прислушиваемся к пользователям. Команды разработчиков искусственного интеллекта нуждаются в специализированных исследованиях, в которых рассматриваются точки зрения пользователей на доверие. Вам необходимо постоянно оставаться на связи с потребностями сообщества, потребностями, выходящими за рамки эффективности. Ценности будут очень сильно влиять на них. А это означает, что группы, не связанные с бизнесом, связанным с ИИ, могут помочь определить, что в первую очередь означает надежный ИИ. Это должно быть постоянной заботой этой экосистемы: получение непрерывной обратной связи.
Дэвид: Что на самом деле является основной характеристикой экосистем.
Френс: Да, дело не только в четком общении. Вы должны сделать алгоритмы и процессы их разработки действительно заслуживающими доверия. Мы должны взять на себя обязательство, что потребует немного денег. И это должно быть сотрудничество. Недостаточно внутренних советов по этике.
Изначально это будет локализованная система. И я совершенно уверен, что первые компании, которые примут участие в этом, увидят от этого очень положительные результаты. Тогда он будет расти. Компания сможет сказать, что ее экосистема не только ее, но и охватывает целую отрасль. Это то, что в конечном итоге вызовет соответствующее доверие.
Дэвид: Насколько вы надеетесь на это?
Френс: Мы живем в действительно интересное время, потому что теперь мы все еще можем изменить ситуацию. Если мы расширим наш взгляд на доверие к ИИ сейчас и если мы построим экосистему, подобную экосистеме авиации, которая поможет нам создавать действительно надежные алгоритмы, мы сможем заложить основу для реальной надежности и настоящего доверия. Но начинать надо сейчас.
Мнения в PAIR Q&A принадлежат респондентам, а не Google. В духе совместных исследований машинного обучения мы стремимся поделиться различными точками зрения на эту тему.
