Возвращение символических подходов ИИ
Несмотря на их впечатляющий успех, модели нейронных сетей часто рассматривались как тупые черные ящики. Например, модели машинного перевода вычисляют корреляции слов, даже не демонстрируя более глубокого семантического понимания.
Тем не менее, модели ИИ не всегда были такими. Экспертные системы знаний из 70-х годов работали как мыслящие машины, основанные на правилах. Они были специально разработаны, чтобы дать ответы на каждый наш вопрос. И хотя им было трудно масштабироваться, они показали отличные результаты в очень нишевых предметах.
Сегодня символическое поле неожиданно возвращается среди исследователей ИИ. Сочетая знания людей и обработку данных машинного обучения, нейросимволические модели обеспечивают более глубокое понимание слов.
Вот как они намерены изменить ситуацию.
История символического подхода
Когда в 1968 году такие исследователи, как Герберт Саймон и Аллен Ньюэлл, заложили основу для области ИИ, они пытались подражать человеческому мышлению.
Они стремились внедрить человеческие когнитивные структуры в машины, такие как концепции, представления и мыслительные процессы, используемые при принятии решений.
Эта работа привела к изобретению интеллектуальных экспертных систем в 70-х годах. Исследователи снабдили эти алгоритмы многочисленными правилами если/то для обработки и картирования областей знаний. Сочетая обширные базы знаний и механизмы системного вывода, они могли решать проблемы так же быстро, как и люди-эксперты.
Команда из Стэнфордского университета попыталась создать одну из таких экспертных систем для точной диагностики заболеваний крови. Они предоставили эту систему под названием MYCIN со знаниями настоящих врачей, которые много работали над этим вопросом. По мере того как случаи становились все более сложными, алгоритм также учитывал вероятности для оценки неопределенности решения. Благодаря этой сложной базе данных MYCIN мог ставить диагнозы, равные или превосходящие диагнозы врачей-людей.
Еще более амбициозный Дуглас Ленат планировал в 1984 году объединить все знания человеческого здравого смысла в один алгоритм. В этом проекте под названием Cyc он и его команда вручную ввели все когнитивные правила, необходимые для понимания нашего мира, например, все деревья — это растения. Но такой подход казался непрактичным, так как описывать все наше логическое мышление символами сложно и кропотливо долго.
В результате в конце 1980-х это исследование выдохлось, показывая свои пределы в более глубоких приложениях. Этим алгоритмам особенно не удавалось обрабатывать неструктурированные данные, такие как изображения или звуки. Это потребовало извлечения бесчисленных бессознательных когнитивных правил.
Нейронные сети и модели машинного обучения тогда все чаще попадали в центр внимания, поскольку в 2000-х годах достаточная вычислительная мощность и хранилище данных заставляли эти системы работать. И теперь мы все знаем их впечатляющую производительность, особенно в области перевода и визуального распознавания. Но у них все еще есть свои недостатки.
Схема Винограда и здравый смысл
Несмотря на успех Google Translate и других современных сервисов с искусственным интеллектом, сегодня нейронные сети также демонстрируют все больше и больше недостатков.
Кроме того, в зависимости от качества своего обучающего набора данных нейронные сети не демонстрируют достаточного знания нашего языка.
Конечно, они могут точно транскрибировать и переводить слова в предложении на основе очень сложного семантического векторного анализа. Но они просто не могут ответить на вопросы по тексту, который читают, или чему-то научиться из него. Именно по этой причине они изо всех сил пытаются общаться с нами, не используя ярлыки, чтобы заставить нас думать, что они люди.
Разочарованный этими ограничениями, исследователь Терри Виноград разработал более сложный тест Тьюринга, чтобы определить понимание слова ИИ. Алгоритмы должны отвечать на такие примеры, как:
«Члены городского совета отказали демонстрантам в разрешении, потому что они [боялись/выступали за] насилие. Кто [боялся/выступал] за насилие?»
Алгоритмы часто изо всех сил пытаются понять, что означает местоимение «они». Чтобы разрешить эту двусмысленность, им необходимо опираться на некое общепринятое знание, принятое говорящими, которое мы называем здравым смыслом. В этом случае мы по опыту знаем, что демонстранты применяют и, следовательно, пропагандируют насилие. Это подразумевает умственные и визуальные знания о взаимодействиях в реальном мире, которые буквально не встречаются в текстах и книгах, но которые необходимо испытать.
Эти схемы Винограда возрождают символические подходы в разработке ИИ. И среди этих перспектив наиболее многообещающими кажутся гибридные подходы, сочетающие символическое понимание с анализом данных.
Понимание машинного чтения
Дэвид Ферруччи — известный исследователь в области искусственного интеллекта, а также среди широкой публики. Он был одним из руководителей миссии IBM по разработке интеллектуальной системы Watson, способной сыграть в известном телешоу Jeopardy!. Watson мог мгновенно подключиться к любому информационному ресурсу в Интернете, найти наиболее релевантный запрос к вопросу и обыграть лучших игроков в игре.
Но после такого успеха Ферруччи задумался, может ли такая система иметь более глубокое понимание задаваемых вопросов, помимо простого алгоритма запроса-поиска. Уотсону часто приходилось извлекать информацию только непосредственно из текста (например, когда его спросили, как звали жену Наполеона, очистив его страницу в Википедии).
Но некоторые вопросы в реальных жизненных ситуациях не могут быть решены этим методом. Ферруччи рассказывает историю о мальчике и девочке, которые вместе участвуют в соревновании. Мальчик неожиданно падает, и вместо того, чтобы продолжать бежать, девочка останавливается, чтобы помочь ему встать.
С такой формулировкой любой поисковый алгоритм будет с трудом отвечать на такие вопросы, как «почему девочка помогла мальчику?», «девочка выиграла гонку?»
Это подразумевает рассуждения на основе здравого смысла: мужчины обычно помогают своим ближним, а иногда скорее помогут человеку в беде, чем выиграют гонку.
Чтобы решить эту проблему, Ферруччи основал свою компанию Elemental Cognition для разработки нейросимволической системы искусственного интеллекта, которая сочетает в себе символическое мышление и нейронные сети.
Он и его команда стремились обучить алгоритм задавать правильный вопрос при столкновении со сложными случаями. Для этого этот алгоритм учится генерировать точные вопросы с помощью машинного обучения, а тестовые пользователи дают ему правильные ответы. Благодаря накоплению знаний алгоритмы могут задавать и предсказывать ответы на свои вопросы. Они постепенно учатся читать и понимать прочитанное, задавая правильный вопрос «почему».
То, что он называет естественным обучением, позволяет машинам создавать когнитивные структуры, необходимые для обсуждения и сотрудничества с нами.
Визуальное обучение и понимание
Этот нейросимволический подход также нашел свое применение в сфере визуального распознавания. В 2016 году исследователи из Стэнфордского университета, обеспокоенные ограничениями зрения ИИ, решили создать набор данных визуальных упражнений для оценки своего понимания.
Называется CLEVR, включает в себя более 100 000 изображений различных форм и цветов (пирамидки, кубы…), сгенерированных компьютером. Задача состоит в том, чтобы алгоритмы правильно отвечали на вопросы, которые проверяют их визуальное понимание и рассуждения об отношениях. Например: кубов меньше, чем красных пирамид, или слева от них есть большие голубые металлические кубы?
Чтобы справиться с этой задачей, исследователи из IBM и Deep Mind изобрели модель ИИ, объединяющую нейронные сети и символические выводы, под названием Deepnet.
Это работает так: с одной стороны сверточные нейронные сети идентифицируют объекты на изображении. С другой стороны, рекуррентные нейронные сети преобразуют вопрос в символический элемент. Затем база знаний, сформулированная программистами-людьми, обосновывает эти входные данные, чтобы дать осмысленный ответ на вопрос.
В отличие от символического подхода, Deepnet учится обрабатывать информацию быстрее и эффективнее с помощью человеческого понимания и когнитивных правил.
И результаты были впечатляющими: в целом гибрид был точен на 98,9%, опередив даже людей, которые правильно отвечали на те же вопросы только в 92,6% случаев. Кроме того, гибриду требовалось всего около 10% обучающих данных, необходимых решениям, основанным исключительно на глубоких нейронных сетях.
Поэтому большой интерес в этих экспериментах состоит в том, чтобы показать ценность нейронных сетей, задающих правильные вопросы. Традиционные модели обучения с подкреплением обучены задавать много вопросов, они перетасовывают и проверяют очень большое количество более или менее релевантных возможностей, прежде чем придумать точные вопросы. Модель искусственного интеллекта с символической поддержкой может задавать важные вопросы на месте и, таким образом, изучать правильный шаблон с меньшим количеством обучающих данных.
Это может показать превосходство моделей ИИ, которые питаются и взращиваются человеческими знаниями. Другими словами, ИИ еще многому предстоит научиться у человеческого интеллекта. И в этом отношении будущее взаимодействия человека и машины кажется особенно ярким!
