Что технический долг может научить нас об опасностях слишком хорошей работы ИИ

В коробки для отпускаемых по рецепту лекарств обычно есть вкладыш из тонкой бумаги, сложенный так же плотно, как оригами. Для скучающих или сверхъестественно любопытных, кто его развернул, есть набросок молекулярной структуры препарата с использованием обозначений, которые напоминают школьную химию, а также МЕРЫ ПРЕДОСТОРОЖНОСТИ, ДОЗИРОВКА И ВНЕДРЕНИЕ и КАК ПОСТАВЛЯЕТСЯ. А для многих лекарств в разделе «КЛИНИЧЕСКАЯ ФАРМАКОЛОГИЯ» после подзаголовка «Механизм действия» можно найти такое предложение для препарата для бодрствования Nuvigil: «Механизм (ы), посредством которых модафинил способствует бодрствованию, неизвестен». Одно только это предложение могло спровоцировать пробуждение без помощи наркотика. Как получается, что что-то может быть изучено и тщательно изучено, чтобы найти путь к одобрению регулирующих органов и повсеместному назначению, в то время как мы не знаем, как это работает?

Ответ заключается в том, что открытие промышленных лекарств уже давно принимает форму испытаний новых веществ методом проб и ошибок, скажем, на мышах. Если состояние существ улучшается без очевидных негативных последствий, препарат может быть пригоден для тестирования на людях. Затем такой препарат может пройти испытательный процесс и получить одобрение. В некоторых случаях его успех может вдохновить на новые исследования, чтобы заполнить пробелы в механизме действия. Например, аспирин был открыт в 1897 году, а объяснение того, как он работает последовало в 1995 году. Это, в свою очередь, дало толчок некоторым исследованиям по созданию лучших обезболивающих с помощью чего-то иного, чем метод проб и ошибок.

Такое открытие - сначала ответы, потом объяснения - я называю «интеллектуальным долгом». Мы понимаем, что работает, не зная, почему это работает. Мы можем немедленно применить это понимание, а затем сказать себе, что выясним детали позже. Иногда мы быстро выплачиваем долг; иногда, как с аспирином, требуется век; а иногда мы вообще никогда не расплачиваемся.

Будь то деньги или идеи, ссуды могут предложить большой рычаг. Мы можем получить выгоду от денег - в том числе использовать их в качестве инвестиций для увеличения богатства - еще до того, как мы действительно заработали их, и мы можем внедрять новые идеи до того, как нам придется докопаться до истины.

Задолженность также сопряжена с риском. Что касается интеллектуального долга, эти риски могут быть весьма серьезными, потому что мы заимствуем как общество, а не индивидуально, а также потому, что новые технологии искусственного интеллекта - в частности, машинное обучение - доводят старую модель открытия лекарств до, казалось бы, неограниченного числа. новых областей исследования. Интеллектуальная кредитная линия человечества переживает необычайный, неожиданный скачок в своих пределах.

Чтобы понять проблемы, связанные с интеллектуальным долгом, несмотря на его благотворное влияние, сначала полезно рассмотреть аналогичный феномен технического долга: технический долг.

Летом 2012 года Королевский банк Шотландии применил обычное исправление к программному обеспечению, которое использовалось для обработки транзакций. Все прошло плохо. Миллионы клиентов не могли снимать свои деньги, производить платежи или проверять свои балансы. Один мужчина провел в тюрьме на выходных за то, что не смог внести залог. Паре было приказано покинуть недавно приобретенный дом, когда их заключительный платеж не был зарегистрирован. Семья сообщила, что больница пригрозила отключить систему жизнеобеспечения их тяжело больной дочери после того, как благотворительный перевод тысяч долларов не состоялся. Проблема сохранялась в течение нескольких дней, поскольку компания пыталась выяснить, что пошло не так, восстановить поврежденные данные и воспроизвести транзакции в правильном порядке.

RBS стал жертвой технического долга. Техническая задолженность возникает, когда системы в спешке настраиваются для удовлетворения насущной потребности сэкономить деньги или реализовать новую функцию, увеличивая при этом долгосрочную сложность. Любой, кто время от времени добавлял какое-либо устройство к домашней развлекательной системе, может засвидетельствовать, как серия, казалось бы, разумных краткосрочных улучшений может создать непроходимое крысиное гнездо кабелей. Когда что-то перестает работать, этот технический долг часто необходимо выплатить единовременной выплатой, отягчающей обстоятельства, - вероятно, путем демонтажа компонентов и их более последовательного подключения.

Банки особенно подвержены техническому долгу, потому что они на раннем этапе компьютеризовали и вложили значительные средства в системы мэйнфреймов, замена которых была и остается дорогостоящей и рискованной. Их основные системы до сих пор обрабатывают триллионы долларов с использованием программного обеспечения, написанного на COBOL, языке программирования 1960-х годов, который больше не преподается в большинстве университетов. Эти системы сейчас настолько переплетены с веб-расширениями, приложениями для iPhone и системами из других банков, что снова выяснить, как они работают, а тем более устранить их, является сложной задачей. Такие консультанты, как Accenture, взимали с таких фирм, как Commonwealth Bank of Australia, сотни миллионов долларов, чтобы добиться полного перерыва.

Два крушения новых самолетов Boeing 737 MAX 8 привели к тому, что парк MAX 8 был остановлен по всему миру. Анализ на настоящий момент указывает на проблему технического долга: компания поспешила предложить более эффективный самолет, заменив его на более мощные двигатели, избегая при этом более мощных двигателей. всесторонний редизайн, чтобы приспособить MAX к оригинальному семейству 737 . Это помогло ускорить производство несколькими способами, в том числе за счет обхода дорогостоящей повторной сертификации. Но новые двигатели имели тенденцию поднимать нос самолета вверх, что могло привести к его срыву. Быстрый патч должен был изменить программное обеспечение самолета, чтобы оно автоматически опускало нос, если он поднимался слишком высоко. Тогда ожидалось, что пилоты будут знать, что делать, если само программное обеспечение по какой-либо причине сработало неправильно, например, получило неверную информацию о положении носа от датчиков самолета. Небольшое изменение вызвало еще одно небольшое изменение, которое, в свою очередь, вызвало еще одно неудобное изменение, подтолкнув существующую систему к непредсказуемому поведению. В то время как необходимая общая модернизация была бы дорогостоящей и трудоемкой и имела бы свои недостатки, в данном случае альтернатива в виде накопления долгов привела к катастрофе.

Войдите в эпоху возрождения давно засыпающих областей искусственного интеллекта, основанного на методах машинного обучения. Подобно сложным системам банков и авиастроителей, эти методы несут тихую, сложную цену, которая сначала может показаться не вызывающей беспокойства, но позже нас побеспокоит. Машинное обучение добилось значительных успехов благодаря теоретическим открытиям, быстрому новому оборудованию и беспрецедентной доступности данных. Особое обещание машинного обучения заключается в том, чтобы предлагать ответы на нечеткие, открытые вопросы путем выявления закономерностей и составления прогнозов. Он может сделать это, скажем, посредством обучения с учителем, обучаясь на кучу данных, связанных с уже категоризированными выводами. Предоставьте достаточно изображений кошек и не кошек с этикетками, и ИИ скоро сможет отличить кошек от всего остального. Предоставляйте достаточно телеметрии о погодных условиях с течением времени, а также о том, какие заметные погодные явления произошли, а ИИ может предсказывать торнадо и метели. А обладая достаточным количеством медицинских данных и информации о состоянии здоровья, ИИ может предсказать лучше, чем лучшие врачи, доживет ли кто-то, впервые попавший в кабинет врача с легочной гипертензией, до следующего года.

Исследователи указали на острые проблемы технических долгов, поражающих системы искусственного интеллекта, из-за которых сравнительно легко найти пенсионера, который сможет расшифровать COBOL банковской системы. Они описывают, как модели машинного обучения встраиваются в более крупные и затем забываются, даже если исходные данные обучения устаревают и их точность снижается.

Но машинное обучение связано не только с техническим долгом. Есть несколько многообещающих подходов к созданию систем машинного обучения, которые на самом деле могут предлагать некоторые объяснения - иногда за счет точности - но они являются редкими исключениями. В противном случае машинное обучение по своей сути похоже на открытие лекарств и, таким образом, влечет за собой интеллектуальный долг. Он дает ответы, которые работают, без каких-либо основополагающих теорий. Хотя системы машинного обучения могут превосходить людей в распознавании образов и предсказаниях, они, как правило, не могут объяснить свои ответы понятными для человека терминами. Они являются механизмами статистической корреляции - они используют византийские шаблоны с предсказательной полезностью, а не четкую формулировку взаимосвязей между причиной и следствием. Объединяя в себе силу и непостижимость, они воплощают наблюдение Артура Кларка о том, что любая достаточно продвинутая технология неотличима от магии.

Но здесь нет Дэвида Копперфильда или Рики Джея, которые знают секрет этого трюка. Никто не делает. Машинное обучение в лучшем виде дает нам ответы, столь же сжатые и непонятные, как ответы на Magic 8-Ball, за исключением того, что они кажутся неизменно правильными. Когда мы принимаем эти ответы, не пытаясь самостоятельно выяснить теории, которые могли бы их оживить, мы накапливаем интеллектуальный долг.

Почему вызывает беспокойство невыплаченный интеллектуальный долг? Есть как минимум три причины возрастающей сложности. Во-первых, когда мы не знаем, как что-то работает, становится трудно предсказать, насколько хорошо это приспособится к необычным ситуациям. Конечно, если систему можно обучить достаточно широкому кругу ситуаций, в ней нет ничего необычного. Но злоумышленники могут противостоять даже этим якобы надежным системам с помощью специально созданных входов, настолько редких, что они никогда не встретятся при нормальном ходе событий. Эти входные данные - обычно называемые «примерами противоборства» - могут выглядеть нормально для человеческого глаза, в то же время совершенно сбивая с толку обученный ИИ.

Например, раньше компьютеры очень плохо распознавали то, что изображено на фотографиях. Это сделало категоризацию миллиардов онлайн-изображений для такой поисковой системы, как Google Images, неточной. Пятнадцать лет назад гениальный ученый-компьютерщик Луис фон Ан решил проблему, найдя способ, позволяющий людям, а не компьютерам, сортировать фотографии бесплатно. Он сделал это, создав игру ESP. Людям предлагали онлайн-игру, в которой им показывали изображения и просили угадать, что другие люди могли бы сказать о них. Когда они были правы, они зарабатывали баллы. Они не могли ни на что обналичить очки, но тысячи людей все равно любили играть в эту игру. И когда они это сделали, их удачные догадки стали основой для маркировки изображений. Google купил игру Луиса, и область человеческих вычислений - использование человеческого разума в качестве вычислительной мощности - стала популярной.

Сегодня архитектура Google Inception - специально настроенная система машинного обучения нейронная сеть - настолько хорошо справляется с распознаванием изображений, что больше не нужна игра Луиса, чтобы заставить людей маркировать фотографии. Мы знаем, как строился Inception. Но даже его создатели не знают, как он получает правильное изображение. Начало дает ответы, но не те объяснения, которые игроки в игру Луиса могли бы предложить, если бы их спросили. Inception правильно определяет, скажем, кошек. Но он не может объяснить, что отличает изображение кошки от всего остального. И в отсутствие теории кошачьего, оказывается, что Начала можно обмануть изображениями, которые любой человек все равно сразу же увидит как кошку.

Студенты Массачусетского технологического института смогли в цифровом виде изменять пиксели стандартной фотографии кошки, чтобы она оставалась видимой неизменной - и при этом обмануть современный механизм обнаружения изображений Google до стопроцентной уверенности в том, что он смотрит на изображение гуакамоле. Затем они пошли еще дальше и нарисовали черепаху, напечатанную на 3D-принтере таким образом, чтобы она выглядела полностью как черепаха для человека, и заставила Google классифицировать ее со всех сторон как винтовку.

Систему, в которой существовала четкая теория усов и ушей для кошек или намордников для винтовок, было бы сложнее обмануть - или, по крайней мере, обмануть ее можно было бы только в том смысле, в каком могут быть люди. Но системы без теории имеют множество неизвестных пробелов в точности. Это не просто особенность современного распознавателя изображений Google. В сфере здравоохранения системы, обученные классифицировать кожные поражения как доброкачественные или злокачественные, аналогичным образом могут быть обмануты, чтобы они перевернули свои ранее точные суждения с произвольной степенью неоправданной уверенности, и перспектива инициирования страховых возмещений за такие неточные выводы может « вдохновляют на использование этих техник в реальном мире.

Постоянная точность системы машинного обучения не защищает ее от атак такого типа; скорее, это может только убаюкать нас чувством цыпленка, что добрый фермер приходит каждый день с большим количеством корма - и будет продолжать это делать. Очарованные его готовой к использованию прогностической силой, мы встроим машинное обучение - как асбест прошлых лет - в более крупные системы и забудем о нем. Но он останется уязвимым для взлома, поскольку будет нелегко продолжить проверку ответов, которые он дает, тем более, что мы отказываемся от работы судей-людей, которые он в конечном итоге заменит. Интеллектуальный долг влечет за собой компромисс за уязвимость, который легко превратиться в такой же, как и технический долг.

Есть вторая причина для беспокойства, поскольку интеллектуальный долг ИИ накапливается: грядущее распространение моделей машинного обучения. Взятые по отдельности, пророческие ответы могут дать неизменно полезные результаты. Но эти системы не останутся изолированными. По мере того как системы искусственного интеллекта собирают и обрабатывают мировые данные, они будут производить собственные данные, большая часть которых будет использоваться другими системами искусственного интеллекта. У системы метро Нью-Йорка есть свой старомодный технический долг, поскольку поезда ходят через туннели и стрелочные переводы, чьи первоначальные установщики и специалисты по обслуживанию давно ушли. Насколько сложнее было бы, если бы деятельность этой системы была синхронизирована с отправлением поездов на Центральном вокзале Гранд-Сентрал, а затем с новыми светофорами «умного города» во всех пяти районах города?

Даже простое взаимодействие может привести к неприятностям. В 2011 году биолог Майкл Эйзен узнал от одного из своих учеников, что ничем не примечательная подержанная книга - Создание мухи: генетика дизайна животных - выставляется на продажу на Amazon самыми низкими ценами. продавец по цене чуть более 1,7 миллиона долларов плюс 3,99 доллара за доставку. Следующая самая дешевая копия весила 2,1 миллиона долларов. Соответствующие продавцы были хорошо известными; у каждого были тысячи положительных отзывов. Когда Эйзен посетил страницу на следующий день, цены поднялись еще больше. Поскольку каждый день продавцы приносили новый рост, Эйзен провел простую математику: цена Продавца A постоянно составляла 99,83% от цены Продавца B. А цена Продавца B каждый день корректировалась и составляла 127,059% от цены Продавца A.

Эйзен полагал, что у продавца А есть экземпляр книги, и, верный принципам «Экономики 101», он стремился предложить самую низкую цену из всех продавцов, немного занижая следующую самую низкую цену. Затем он предположил, что у Продавца Б нет экземпляра книги, поэтому он оценил его выше - и затем ждал, чтобы увидеть, купит ли кто-нибудь более дорогой экземпляр. Если это так, Продавец Б всегда может получить ее у Продавца А и напрямую доставить книгу ленивому покупателю, получая при этом солидную прибыль без необходимости лично упаковывать и отправлять что-либо по почте.

Стратегия каждого продавца рациональна и, хотя и алгоритмична, безусловно, не требует сложного машинного обучения. Даже эти простые стратегии столкнулись и привели к явно иррациональным результатам. Взаимодействие тысяч систем машинного обучения в дикой природе обещает быть гораздо более непредсказуемым.

Финансовые рынки представляют собой очевидную питательную среду для такого типа проблем, и именно в этой области передовое машинное обучение уже применяется сегодня. В 2010 году внезапный обвал, вызванный алгоритмической торговлей, за тридцать шесть минут стер с основных индексов США более 1 триллиона долларов. Осенью прошлого года аналитик JPMorgan Марко Коланович поделился кратким анализом в 168-страничном рыночном отчете, в котором говорилось, что это может легко повториться, поскольку больше инвестиций становится скорее пассивным, чем активным, и просто привязанным к индексам. В отличие от технического долга, заимствование которого обычно приписывается определенной организации, которая управляет системой, интеллектуальный долг может накапливаться в промежутках, где системы сталкиваются друг с другом без формального взаимодействия.

Третья и самая серьезная проблема интеллектуального долга - это перспектива того, что он представляет собой более крупное движение от фундаментальной науки к прикладным технологиям, которое угрожает либо трансформировать исследовательскую строгость академических кругов, либо полностью обойти ее. В отличие, скажем, от ускорителей элементарных частиц, инструменты машинного обучения так же охотно используются в частном секторе, как и в университетах. Действительно, тип и объем данных, которые позволят сделать полезные прогнозы, с большей вероятностью будут в распоряжении Google и Facebook, чем в отделе информатики Массачусетского технологического института или в Media Lab. Промышленность может быть полностью удовлетворена ответами, в которых отсутствует теория. Но когда сами эти ответы не получают широкой огласки, а тем более инструменты искусственного интеллекта, которые их создают, интеллектуальный долг будет накапливаться в карманах общества вдали от ученых, которые больше всего заинтересованы в том, чтобы заполнить теорию. А одержимость только ответами - представленная сдвигом в государственном финансировании исследований для ориентации на них - может, в свою очередь, увести даже чистых ученых от выплаты интеллектуального долга, который они могут найти в мире, и вместо этого к увеличению заимствований.

Один исследователь в сложной, но важной области сворачивания белков недавно написал эссе, исследуя свою двойственную позицию по поводу того, что значит быть ученым после того, как модель машинного обучения смогла, ну, в общем, сворачивать белки так, как раньше только люди Он сказал одной публикации: У нас была эта тенденция, как область, которая очень одержима сбором данных. Газеты, которые попадают в самые престижные места, как правило, собирают очень большие массивы данных. Гораздо меньше престижа ассоциируется с концептуальными документами или статьями, которые предоставляют новое аналитическое понимание .

Это будет непревзойденный педант, который откажется принимать лекарство, спасающее жизнь, просто потому, что никто не знает, как оно действует. В любой момент действительно стоит взять интеллектуальный заем. Но по мере того, как распространяется все больше и больше лекарств с неизвестными механизмами действия - ни один из них не обнаружен в дикой природе, - количество тестов для выявления нежелательных взаимодействий должно увеличиваться в геометрической прогрессии. На практике эти взаимодействия просто обнаруживаются, когда новые лекарства попадают на рынок и начинают происходить плохие вещи, что частично объясняет продолжающийся цикл внедрения и отказа от наркотиков. Распространение моделей машинного обучения и их плодов заставляет эту проблему выходить за рамки одной области.

Так что нам делать?

Во-первых, нам нужно знать нашу подверженность. Поскольку машинное обучение и его отдельные ответы по праву процветают, мы должны инвестировать в баланс коллективного интеллектуального долга. Долги не только часто терпимы, но и ценны - они используют то, что мы можем сделать. Так же, как небольшой технический долг в программной системе может помочь адаптировать ее к новым применениям без необходимости постоянно перестраивать ее, так и мера продуманного интеллектуального долга может дать нам толчок к знаниям Прометея, а затем обозначить программу исследований для открытия теории, которая могла бы следить.

Для этого нам потребуются указатели. Мы должны отслеживать, где именно мы подключили ответы инопланетной системы, вместо того, чтобы бросать смятые долговые расписки в картотечный шкаф, срок погашения которых может возникнуть незаметно для нас. Не все долги одинаковы. Когда ставки невелики, например, использование машинного обучения для создания новых рецептов пиццы, может иметь смысл заткнуться и насладиться пиццей и никогда не беспокоиться о теории, лежащей в основе того, почему арахисовое масло и банан так хорошо работают вместе. . Но когда ставки выше, например, при использовании ИИ для прогнозов и рекомендаций в отношении здоровья, мы ходим по непроверенному льду, когда записываем ответы на тест, а не изучаем основной материал. Практически невозможно устоять перед ответами на эти вопросы, что делает разработку сопутствующей теории еще более важной.

Чтобы составить баланс по интеллектуальному долгу, мы должны проанализировать текущую практику в отношении коммерческой тайны и другой интеллектуальной собственности. Так же, как наша патентная система требует публичного раскрытия новой технологии в обмен на защиту от ее копирования другими лицами, или городской строительный департамент требует публичной доступности планов ремонта частных зданий, мы должны изучить академическое зеркалирование и депонирование скрытых в противном случае данных. наборы и алгоритмы, которые достигают определенной степени общественного использования. Это дает нам надежду на построение карты долга - и быстрый способ составить программу исследований по выплате долга, который, по-видимому, стал особенно опасным.

Самое главное, мы не должны обманываться, думая, что только ответы имеют значение: действительно, без теории они могут вообще не быть значимыми ответами. По мере того как ассоциативные и прогностические механизмы распространяют и получают все больше данных, риск возникновения ложных корреляций резко возрастает. Рассмотрим один блестящий любительский текущий список очень тесных ассоциаций, обнаруженных не из-за какой-либо подлинной ассоциации, а потому, что при наличии достаточного количества данных появятся бессмысленные, мимолетные закономерности. Список включает почти идеальную корреляцию между уровнем разводов в штате Мэн и потреблением маргарина на душу населения, а также между расходами США на науку, космос и технологии и самоубийствами через повешение, удушение и удушение. В как раз в то время, когда статистики и ученые движутся к демеханизации использования статистических корреляций, признавая, что одно только построение корреляций сбило нас с пути, машинное обучение переживает тот успех бывшей асбестовой промышленности на основе именно таких корреляций.

Традиционный долг передает контроль: от заемщика к кредитору и от будущего к прошлому, поскольку более поздние решения ограничиваются более ранними сделками. Ответы без теории - интеллектуальный долг - также незаметно изменят контроль. Сетевой ИИ переносит решения, которые ранее были оставлены, скажем, водителю транспортного средства, в руки тех, кому поручено проектировать автономные транспортные средства - отсюда и продолжающееся ломание рук над этическими проблемами тележки. Общество, а не водитель, теперь может напрямую решать, кому автомобиль, потерявший тормоза, должен подвергать наибольшему риску, включая его пассажиров. А прошлое теперь может определять будущее: автомобили можно программировать заранее, а решения актуализировать позже.

Мир знаний без понимания становится для тех из нас, кто в нем живет, миром без видимых причин и следствий, и, таким образом, миром, в котором мы можем стать зависимыми от наших собственных цифровых консьержей, которые говорят нам, что делать и когда. Это мир, в котором ставки страхования жилья могут повышаться или падать в час или в минуту, поскольку новые риски точно предсказываются для данного района или дома. Единственный способ разобраться в этом мире может заключаться в использовании наших собственных ИИ, чтобы попытаться наилучшим образом подготовить нас к успеху с ИИ по страхованию арендаторов («сегодня хороший день, чтобы остаться дома»); нанимать ИИ («подумайте о том, чтобы носить синий») или ИИ допуска («работать волонтером в приюте для животных, а не в приюте для бездомных»), каждый из которых принимает и обрабатывает вводимые данные непостижимым образом.

Когда у нас есть теория, мы получаем предварительное предупреждение о проблемах, когда теория перестает работать. Мы призваны выдвигать новую теорию. Без теории мы теряем автономию, основанную на знании того, чего мы не знаем.

Философ Дэвид Вайнбергер поднял захватывающую перспективу того, что машинное обучение может помочь нам задействовать природные явления, которые сами по себе не опираются ни на какие теории. Возможно, что существуют сложные, но - при достаточной вычислительной мощности - предсказуемые взаимосвязи во Вселенной, которые просто не могут быть сведены к элегантной формуле, такой как счет Ньютона гравитации, преподаваемый в средних школах по всему миру, или знаменитое понимание Эйнштейна материи, энергии, и скорость света. Но мы скоро превзойдем природу в этом сложном ударе: с ИИ, во имя прогресса, мы будем создавать явления, которые могут быть предсказаны, но никогда не поняты, другим ИИ.

То есть мы будем строить модели, зависящие от основной логики и, в свою очередь, создающую их настолько далеко за пределами нашего понимания, что они не поддаются содержательному обсуждению и вмешательству. В особенно подходящем повороте хирургическая процедура глубокой электрической стимуляции мозга продвинулась путем проб и ошибок и теперь считается косметической нейрохирургией для улучшения человеческого мышления.

Большая часть своевременной критики ИИ справедливо сосредоточена на том, как он может пойти не так: он может создавать или воспроизводить предвзятость; он может ошибаться; его можно довести до злого конца. Наряду с этими тревогами стоит еще одно: что произойдет, когда ИИ сделает все правильно, превратившись в оракула, к которому мы не можем не вернуться и к которому мы, следовательно, привязаны.

Джонатан Зиттрейн - профессор международного права Джорджа Бемиса в Гарвардской школе права и Гарвардской школе Кеннеди; Профессор компьютерных наук Гарвардской школы инженерии и прикладных наук Джона А. Полсона; и соучредитель Центра Интернета и общества Беркмана Кляйна

Более позднюю версию этого черновика можно найти в New Yorker.

📝 Прочтите этот рассказ позже в Журнале.

👩‍💻 Просыпайтесь каждое воскресное утро и слышите самые интересные истории недели в области технологий, ожидающие в вашем почтовом ящике. Прочтите информационный бюллетень« Примечательно в технологиях .