Как — явный или нет — интеллект возникает в ChatGPT?
Каким образом простое предсказание следующего слова способствует появлению интеллекта? На самом деле, появление — это немного ругательное слово для некоторых в ИИ-сообществе. Как и идея о том, что ChatGPT понимает или даже кажется, что понимает.
Но здесь я определяю — как всегда — эмерджентность просто как появление, вроде бы бесплатно, в качестве бонуса чего-то, оптимизируя для чего-то другого.
В этом случае. в GPT мы получаем по крайней мере видимый интеллект, оптимизируя нейронную сеть для предсказания следующего слова.
Возникновение не мистическое. Или бесплатно.
В другом месте я утверждал, что GPT-3, технология, лежащая в основе ChatGPT, по крайней мере, кажущаяся разумной. И что GPT-3 превращается буквально в миллионы подсетей, которые делают понимание во время обучения человеческому миру текста. И я объяснил почему и как.
Если мы предположим, что ChatGPT интеллектуален на стадии становления или, по крайней мере, кажется таковым, мы не получили его бесплатно. OpenAI потратил много усилий, процессора, графического процессора, хранилища и денег, чтобы оптимизировать точность предсказания следующего слова.
В моем определении «появление» — это просто то, что вы получаете, по-видимому, бесплатно, когда занимаетесь чем-то другим.
Очевидно, это означает, что человеческий интеллект в какой-то грандиозной схеме — но не сразу — эквивалентен оптимизации следующего слова. . для архитектуры ChatGPT. Или любая другая архитектура с аналогичной точностью IMO.
Что означает, что:
(человеческий) интеллект = случайно взвешенная архитектура ChatGPT + оптимизация для следующего слова
Интеллект может иметь и имеет другие определения, чем следует из этого уравнения, но по крайней мере кажущийся интеллект достижим с помощью и, таким образом, эквивалентен правой части этого уравнения.
Это неоспоримо ИМО и имеет смысл.
Это стоит принять.
Как описано в моих ссылках выше, это происходит просто потому, что:
- Лучший способ предсказать наиболее правдоподобное следующее слово в предложении — это понять остальную часть текста подсказки пользователя. . и мир. И человеческий язык.
- Глубокая многоуровневая нейронная сеть ChatGPT и очевидные оптимизации могут найти среди почти бесконечного пространства параметров наборы весов, которые воплощают эти центры понимания.
Мы знаем, что центры понимания существуют у обученных ТШП. OpenAI специально обнаружил некоторые из этих подсетей и их «главные нейроны», которые могут понимать, например. человеческое чувство. «Главные» или «бабушкины» нейроны на выходных концах этих подсетей затем подключаются к другим сетям понимания более высокого порядка.
Мы знаем, что они существуют.
Итак, мы знаем, что процедура подбора параметров может их найти.
Надежно.
Он подчеркивает, что (1) и (2) выше действительно явно верны.
И говорит что-то существенно положительное о методологии подгонки обратного распространения, в частности, предполагая, что не существует огромной проблемы множественных минимумов.
Возникновение в природе
Другие полезные примеры эмерджентности включают эволюцию и сворачивание белков.
В биосфере оптимизация для выживания вызывает адаптацию к окружающей среде. Конкуренция между организмами также имеет ключевое значение.
Чтобы естественный отбор работал, вам нужна жизнеспособная репродуктивная система с мутациями. Плюс условия для соревнований.
Адаптация = несовершенный репродуктивный организм + конкурентная среда
Внутри клетки белки сворачиваются в свою уникальную трехмерную белковую структуру, специфичную для последовательности, за счет минимизации открытой гидрофобной поверхности.
функциональная структура белка = развернутая аминокислотная последовательность + минимизация энергии
Возникновение не мистическое. Он существует везде, где у вас есть процесс оптимизации и деформируемый плеер.
Пример эффекта появления в ChatGPT
ChatGPT делает понимание путем эмерджентного разделения предложений иерархически на части, то есть на различные уровни структуры в вашем запросе, подсказке или справочном документе. Эти распутаны. При этом не теряя отношений.
Таким образом, хотя обучающие данные должны включать примеры, иллюстрирующие множественные значения и контексты каждого слова, не обязательно видеть все возможные их комбинации.
Обратите внимание, что мы, люди, естественным образом — неосознанно — разбиваем пример выше на иерархию — или вложенность — чтобы понять, что на самом деле сказал каждый человек в данном случае. Что сказал репортер. Что сказал пресс-секретарь.
И, что особенно важно, «потому что» подразумевает причину и следствие. Причина проста (доверие к вице-президенту), но для извлечения следствия (президент не оспаривает) требуется понимание иерархии, чтобы установить, что она не имеет ничего общего ни с репортером, ни с пресс-секретарем.
Подробнее об этом читайте в моей предыдущей статье: ChatGPT: удивительно простой ключ к пониманию
Скептики ChatGPT
«Скептики, в том числе Гэри Маркус и Ноа Хомски, если оставить в стороне их достоинства, сомневаются, что в LLM (больших языковых моделях), таких как ChatGPT, происходит относительно приличное понимание.
Это просто потому, что они зациклены на совершенстве, своей символической парадигме искусственного интеллекта / лингвистики и упускают из виду пункты, которые я указал выше.
Их главная проблема заключается в том, что они думают, что человеческий мозг больше похож на их теоретико-информационную «алгебру слов» символический ИИ, чем на «коннекционистские» искусственные нейронные сети, обученные на данных. Э, как мозг.
Обе парадигмы ценны. Я большой поклонник и практик обоих.
Но только один из них в последнее время производит много разведки.
Как когнитивные API или в человеческих блогах.
Вот еще несколько моих ТОП статей о ChatGPT
ChatGPT: Гэри Маркус и Ноам Хомски ВСЕ ЕЩЕ пребывают в состоянии полного бреда
«ChatGPT пишет неплохие стендап-комедии. РЖУ НЕ МОГУ."
Вся область ИИ профессионально газлайтируется Ноамом Хомским и Гэри Маркусом
Мозг НАМНОГО больше похож на ChatGPT, чем на символический ИИ: Гэри Маркус? Ноам Хомский?
Сознание означает разные вещи для разных людей. . и эксперты
ChatGPT: потрясающе простой ключ к пониманию
"Уже достаточно! Вот сбалансированный взгляд на человекоподобный AGI с помощью LLM, таких как GPT-3 »
ChatGPT: AGI к 2024 году, самое сложное уже сделано
«ChatGPT — это круто. Но вот режим отказа, который я обнаружил. РЖУ НЕ МОГУ."
Пересмотр появления интеллекта в ChatGPT
Появление понимания в ТПТ-3: принятие желаемого за действительное или функциональное или «настоящее и как? Центры понимания.»
AGI и генеративный ИИ, такой как ChatGPT, сейчас (почти) все: вот почему
ChatGPT — переломный момент в истории человечества, и дебаты не могут уменьшиться
Дополнительные материалы на PlainEnglish.io. Подпишитесь на нашу бесплатную еженедельную рассылку новостей. Присоединяйтесь к нашему сообществу Discord и следите за нами в Twitter, LinkedIn и YouTube.
Узнайте, как привлечь внимание к своему стартапу с помощью Circuit.
