Контекстное понимание человека и когнитивного ИИ
Что такое контекст? У всех нас есть интуитивное представление о том, что это значит, но что на самом деле составляет фундаментальные элементы контекста, его пространственное существование и как это можно обобщить с пользой в системах ИИ. Мы знаем, что у людей контекст обеспечивает меру между вещами, но он также обеспечивает внимание, поток, относительность, восприятие, реакцию и многое другое. Чтобы по-настоящему оптимизировать преимущества и применение контекста в ИИ, мы должны сначала глубоко погрузиться в то, что такое контекст на самом деле.
Контекст — это больше, чем просто значение, и само «значение» относительно сложно определить, хотя использование значения — нет. В самой простой форме контекста слова имеют связанное с ними «значение». Эти значения являются представлениями восприятий в человеческом уме. Мы видим фрукт и даем ему уникальную классификацию, основанную на его характеристиках, а затем делимся или согласовываем нашу классификацию с другими. Наше восприятие физических вещей редко расходится с восприятием других, даже если точное описание расходится. Чем абстрактнее восприятие, тем меньше мы, люди, разделяем его точное определение. Это подразумевает, что контекст имеет границы или ограничения в отношении восприятия. Выйдите за границы, и контекст потеряет свою относительность.
Один перцептивный аспект, который помогает определить границу вокруг контекста, — это его первичное отличие, которое представляет собой базовый слой значения на самом нижнем уровне контекстуальной релевантности (т. е. элементарный или первичный признак). Например, синий как цвет является элементарным, хотя более высокие уровни контекста каскадируются (т.е. оттенки синего). Контекст исключителен и уникален для отношений релевантности, содержащихся в контексте и определяемых им. Исключительный характер контекстуального существования (т. е. исключительный для измерений, в которых контекст существует, например, во времени или в рамках устойчивых во времени отношений контекстуальной относительности или каскада) дает нам первое указание на то, что такое контекст. Однако эта «зона контекста» подвижна и изменчива, уникальна для воспринимающего ее индивидуума и является лишь частью реальности индивидуума, хотя мы можем разделять с другими весьма непротиворечивую реальность. Яблоко является яблоком для большинства людей в мире, хотя я могу воспринимать в своем сознании красное яблоко, в то время как вы воспринимаете зеленое.
Что интересно в системах ChatAI, так это то, что когда вы вводите подсказку с вариантным контекстом и не указываете на контекстуальную релевантность (например, описываете яблоко), система выбирает контекст без ссылки. Люди, с другой стороны, могут делать это, но чаще всего мы запрашиваем дополнительные данные (например, что вы имеете в виду, фрукты или компания?). Это один из недостатков оптимизации текущего ИИ. Он просто делает наилучшее предположение, основываясь на том, что было в корпусе языка, на котором он обучался. Люди интуитивно знают контекст в большинстве случаев (например, если у вас проблемы с телефоном, утверждение «опишите яблоко», скорее всего, используется для извлечения реакции на контекстуально последовательные стимулы, такие как «яблоко — это зло»). Совершенно очевидно, что компании, занимающиеся искусственным интеллектом, также изо всех сил пытаются заставить свои системы понимать более глубокий контекст, чем просто релевантность соседних слов или отдельных потоков переносимого контекста в краткосрочных и долгосрочных измерениях. Мы можем видеть это в стремлении к большей мощности, более быстрому оборудованию и достоверности информации. Мы также можем видеть влияние переобучения, чрезмерного уменьшения размеров/обобщения и фиксированной направленности (невозможности вернуться назад или быстро изменить направление на контекстуальную релевантность).
Применение контекста
Найти репрезентации и абстракции многоуровневого общего плавного многомерного контекста, которые люди используют для движения по жизни и прохождения пути проектирования от текущего однонаправленного и одномерного внимания ИИ, которое создает узкий краткосрочный контекст упреждающей относительности слов, и к надежному пониманию контекстуальной вариативности. того вида, который используется для понимания полного общения, нам нужно сначала понять, как контекст работает у людей. Человеческое познание управляется целями, которые формируют изменчивые вероятности, имеющие отношение к нашему временному самосознанию. Подобно вниманию в системах ИИ, люди привносят контекст и его постоянно меняющиеся показатели в наши самосознательные цели по мере продвижения по жизни. Мы также переносим эти цели во временные плоскости релевантности (т. следующие несколько секунд или минут нашего прогресса). Кроме того, мы, люди, изменяем и изменяем вероятность релевантности нашему самосознанию по ходу движения (то есть мгновенно реагируем на того, кто подрезает нас в пробке). Хотя многое из этого можно отнести к восприятию и памяти, интересно то, что все это описывается контекстом.
Самый простой способ понять искусственный контекст состоит в том, что он представляет собой серию многомерных матриц вероятностей, которые можно перемножить вместе, чтобы «сфокусировать» контекстуальную концентрацию. Если абстракция и представление или обобщение контекста могут быть эффективно смоделированы таким образом, чтобы допустить многоуровневость или релевантность, их можно будет применить к перцептивным стимулам и механизмам реагирования в наших системах ИИ. Некоторые новые методы для достижения этого включают ангуляцию векторных пространств (используя угол векторов между взвешенными пространствами), методы размерной дисперсии, использование узких мест слоя декодера-кодировщика для обобщения внимания или более многомерных представлений дисперсии и применение контекстуальной дисперсии с «хорошо структурированными». и представлены' производные функции активации. Существует ряд других приемов, методов, функций, распределений и т. д., а также применение слоев ИИ к проблеме искусственного контекстуального понимания (слои нейронных сетей для изучения огромных объемов размерной контекстуальной относительности).
Если дизайнеры рассматривают контекст как абстракцию реальности, тогда станут очевидными методы искусственного осмысления контекста. Природа весовых коэффициентов релевантности контекста, хранящихся в матрице признаков, применяется не только к отдельным объектам и токенам, но их можно комбинировать с дополнительными матрицами контекста (т. е. матрицами весов контекста) для расчета слоев и каскадов контекста. Когда применяется уменьшение размеров, результирующий вывод нейронной сети формирует набор корреляционных весов, которые можно применить к выводу или объединить с дополнительными слоями контекста, чтобы сформировать единый вектор для каскада контекста (подумайте о представлении весов, объединяющих для формирования матрицы аддитивных весов). Другие функции и методы также могут применяться для понимания распределения векторов контекста, и они также могут быть многоуровневыми и каскадными. Контекст также однозначно доступен для обобщения и для определения обобщения в скрытых узлах для входных потоков данных (т.е. восприятия видео или автономного распознавания области движения).
Глубокое понимание контекста — это следующее большое изменение в продвинутом искусственном интеллекте на пути от общего интеллекта к когнитивному ИИ. Гиганты искусственного интеллекта, такие как Google и новое видение Microsoft с OpenAI, уже смещают акцент не только на понимание глубокого контекста, но и на контроль и доминирование над ним для получения выгоды. В чем заключается это преимущество, еще предстоит выяснить, но все компании, занимающиеся ИИ, сталкиваются с реальностью, что ИИ с учетом контекста намного превосходит ИИ с узким контекстом. Просто нет никакого сравнения, и никто не захочет использовать неполноценный «узкоконтекстный» ИИ, когда существует более интеллектуальная система. Это паника, которая пронизывает и преследует руководителей крупных технологических компаний, поскольку история ясно доказала, что неактуальность — это самый быстрый путь к разрушению и смерти старых избыточных организаций и технологий.
В будущих материалах я добавлю больше подробностей о структурах, которые могут использоваться и используются в продвинутом ИИ для понимания и передачи многомерного контекста.
Роб Смит — бывший директор отдела когнитивного ИИ eXacognition Advanced AI, специалист по искусственному/человеческому контекстуальному познанию и автор серии руководств по искусственному сверхразуму. Эта статья представляет собой отрывок из готовящейся книги «Темная архитектура — построение сверхразума», которая будет выпущена во всем мире в конце этого года. В настоящее время он является членом исполнительного совета компании, информация о которой не разглашается.
Он также выпускает глубокую и всестороннюю двухдневную серию учебных курсов по искусственному интеллекту от имени eXacognition для клиентских организаций, чтобы познакомить сотрудников с передовым искусственным интеллектом, включая все, от нейронных сетей до реализации API ChatAI в Python. Эти начальные учебные курсы предназначены для неразработчиков, технических специалистов и руководителей, чтобы способствовать внедрению центров передового опыта ИИ по всему миру.
