Документ Древо мыслей от Google DeepMind был популярной темой. Он основан на подсказках Chain of Thought (CoT), которые улучшают выходные данные языковой модели, заставляя ее размышлять о своих предыдущих ответах. Это делается для сложных задач, где недостаточно просто спросить модель, чтобы получить правильный ответ, и это соответствует принципу разбиения задач на более мелкие подзадачи (динамическое программирование моделей на больших языках). Tree of Thoughts использует генератор для создания нескольких выходных данных для одной подсказки на первом этапе и оценщик для оценки того, какой результат является лучшим. Оценщик — это просто еще одна языковая модель. Сгенерированные результаты — это мысли в Дереве мыслей. Снова и снова подсказывая модель на основе предыдущих мыслей, строится дерево в Древе мыслей. Стратегически идя по пути начальной подсказки и ее последующих мыслей, используя оценщик и поиск в ширину или в глубину (https://www.geeksforgeeks.org/difference-between-bfs-and-dfs/ ), производительность модели для определенных задач может быть значительно улучшена.

Критика Янника Килчера в его видео с обсуждением статьи показалась мне очень интересной. Для одной задачи они пытались разгадывать кроссворды, но Янник указал, как исследователи настраивали и анализировали мысли в дереве, чтобы активно помочь модели достичь цели решения головоломки. Это далеко не система, в которой вы вводите одно приглашение, и без какой-либо дополнительной помощи выдается правильный вывод. Это подводит меня к собственному выводу: решение конкретных задач с помощью языковой модели абсолютно нетривиально, и, хотя было показано, что эти инновационные системы подсказок улучшают производительность, они по-прежнему требуют больших человеческих усилий. Так что ажиотаж вокруг этой статьи может быть необоснованным.

Я с нетерпением жду будущих исследований в этой области и того, что возможно, особенно от DeepMind, поскольку у них есть большая база знаний по обучению с подкреплением, и они уже использовали терминологию обучения с подкреплением в документе «Древо мысли». Есть мысли по этому поводу?

Ссылка на видео Янника:
https://www.youtube.com/watch?v=ut5kp56wW_

Ссылка на статью:
https://arxiv.org/abs/2305.10601