Сказать, что у меня память как у золотой рыбки, значит больше оскорбить золотую рыбку, чем меня. Я ищу приглашения в календаре по именам людей, с которыми проговорил часами накануне вечером. Я ищу формулы, которые я использовал сотни раз в колледже. Мои прошлогодние воспоминания состоят из 224 заметок и 884 фотографий, аккуратно упорядоченных в моем телефоне.
У меня нет фотографической памяти. Это больше похоже на импрессионистскую живопись в хорошие дни и абстрактную в плохие. Я сопереживаю ИИ в разговорах о галлюцинациях.
Вот выдержка из анонса GPT-4 на прошлой неделе:
Несмотря на свои возможности, GPT-4 имеет те же ограничения, что и более ранние модели GPT. Самое главное, что он все еще не является полностью достоверным («галлюцинирует» факты и допускает ошибки в рассуждениях).
Да, я тоже.
Мой вопрос заключается в том, следует ли нам считать галлюцинации особенностью или ошибкой. Эта статья определяет галлюцинации как сгенерированный контент, который является бессмысленным или не соответствует предоставленному исходному контенту. Другими словами, галлюцинации — это результаты, которые не согласуются с данными обучения модели.
Забыть вместе
OpenAI еще не сказал, сколько параметров стоит за GPT-4. Однако мы знаем, что у GPT-3 было 175 миллиардов. Может показаться, что это много, но невозможно идеально хранить все обучающие данные в модели. GPT-3 обучался почти на 500 миллиардах токенов, которые по отдельности содержат больше информации, чем параметр модели. Модель кодирует шаблоны в обучающих данных, а не в фактических данных.
Модель ИИ — это несовершенное хранилище данных. Если бы это было идеально, мы бы назвали это базой данных. 175 миллиардов параметров могут быть настроены очень многими способами. Модель может воспроизводить наиболее распространенные шаблоны, которые она извлекает из обучающих данных, но не может воспроизводить все шаблоны.
Люди ничем не лучше. Каждый из нас может настроить наши 86 миллиардов нейронов и 1 триллион синапсов множеством способов. Но возможности конечны. Мы не можем сохранить каждую часть «тренировочных данных», которые мы получаем через наши чувства зрения, слуха, осязания, обоняния и вкуса. Мы кодируем представления паттернов и воспроизводим эти паттерны как воспоминания.
Наша неспособность хранить тренировочные данные с идеальной точностью хорошо задокументирована. Кривая забывания Эббингауза, разработанная в 1880-х годах, была подтверждена совсем недавно, в 2015 году.
Мы можем укрепить наши нейронные связи посредством повторения или подключиться к высокопроизводительной зрительной коре, используя такие методы, как Дворец Памяти, но наше кодирование все равно будет с потерями. У нас недостаточно синапсов, чтобы «хранить» каждый паттерн в данных, обрабатываемых нашим мозгом.
Заведомо неверно
Несколько лет назад один из моих лучших друзей сказал: «Разница между уверенностью и высокомерием заключается в способностях». Мы избегаем высокомерного ИИ по той же причине, по которой мы избегаем высокомерных людей. Уверенные люди предоставляют достоверную информацию. Так же как и высокомерные люди, но трудно сказать, что правда, а что чушь. Высокомерие и галлюцинации — две стороны одной медали.
Разница между людьми и машинами в том, что мы понимаем, что наш мозг работает с потерями, и действуем соответственно. Мы используем сдерживающий язык (например, «я думаю») и язык тела (например, ерзаем на стуле), чтобы сигнализировать о неуверенности. Мы даже учитываем реакции других в наших расчетах неопределенности (например, останавливаемся в ответ на нахмуренные брови).
Ранним языковым моделям не хватало способности сообщать о неопределенности так, как люди могли интуитивно это понять. Неуверенность была, если приглядеться, но большинство из нас не удосужились проверить работу машины. Мы просто принимали вывод за факт и обвиняли машину в галлюцинациях, если эти факты были неверными.
Вот пример. Я спросил модель «text-davinci-003» (основанную на GPT-3), являются ли акции Silicon Valley Bank хорошей инвестицией. На этот вопрос модель не может ответить с уверенностью, потому что обучающие данные идут только до 2021 года, а языковые модели плохо разбираются в математике.
Я включил «показывать вероятности», чтобы видеть прогнозы для каждого токена. Неудивительно, что первым прогнозом был «Сил» с вероятностью 99,97%.
Модель почти точно предсказала название банка. Это была легкая часть. В подсказке я указал название банка. Следующий прогноз более интересен.
В скобках модель предсказывала «SIVB», биржевой код Silicon Valley Bank. Однако на самом деле лучшим прогнозом был «SVB», аббревиатура, используемая при обращении к банку. Когда я устанавливаю «температуру» на ноль (полностью детерминированный), я получаю аббревиатуру «SVB», а не биржевой тикер «SIVB».
«SIVB» — это микрогаллюцинация. Модель не смогла указать, что эти буквы были биржевым тикером, а не аббревиатурой. Обучающие данные содержали ссылки как на SVB, так и на SIVB, но модель не кодировала нюанс между ними.
Разница в способностях
Я провел тот же эксперимент с GPT-4. Вот первая часть ответа.
Модель знает, что «SVB» — это аббревиатура, а не тикер. Он также предоставляет язык хеджирования, чтобы сигнализировать о неопределенности. Модель продолжает давать полный ответ.
Обратите внимание на правильную ссылку на «SIVB» вместе с дополнительным языком хеджирования. Стала ли модель разумной и признала, что способна к забывчивости? Нет, он просто закодировал больше шаблонов из обучающих данных и научился, когда использовать язык хеджирования.
Большие языковые модели от OpenAI становятся менее высокомерными и более уверенными. Разница в способностях.
Функция или ошибка?
Что делает большие языковые модели невероятными, так это их способность отвечать на новые запросы, используя шаблоны, извлеченные из обучающих данных. Немногих из нас удивляют базы данных, которые хранят гигабайты информации с идеальной точностью, но мы очарованы людьми, которые могут назвать первые 100 цифр числа пи.
Галлюцинации — побочный продукт разума. Нет проблемы с галлюцинациями, которую нужно решить. По мере роста моделей ИИ будет кодироваться больше паттернов. В пределе нейронные сети становятся чрезмерно сложными базами данных. Это противоречит цели. Мы всегда будем ходить по тонкой грани между приемлемым уровнем галлюцинации и переобучением данных обучения.
Тем не менее, мы должны полностью решить проблему связи. GPT-4 добился прогресса в отношении языка хеджирования. Возможно, когда-нибудь модель даже будет учитывать наши ответы, чтобы обновлять свои оценки неопределенности. Мы принимаем неопределенность в людях, когда она проявляется в полной мере. Нам нужно привести машины к одному стандарту.
Галлюцинации — это особенность, а не ошибка.
