OPRO (Оптимизация с помощью PROmpting) — это новый подход к использованию больших языковых моделей в качестве оптимизаторов, который был представлен Google DeepMind в исследовательской работе под названием «Большие языковые модели». В качестве оптимизаторов».
Большие языковые модели очень хорошо справляются с получением подсказки, такой как инструкция или вопрос, и дают полезный ответ, соответствующий вводной подсказке.
Путем расширения подсказки тщательно созданными человеком инструкциями, например Как было показано, когда «давайте думать шаг за шагом», большие языковые модели дают лучшие ответы. Однако создание приглашения вручную может быть утомительным. Итак, вот OPRO, который может предоставить расширение для автоматического улучшения подсказки. Но не только это: большая языковая модель теперь будет давать еще лучшие ответы. В этом посте мы объясним, как работает этот метод, и рассмотрим некоторые результаты, представленные в статье.
Если вы предпочитаете видеоформат, посмотрите наше видео, в котором рассказывается многое из того, что мы здесь рассказываем:
Первоначально этот пост был опубликован здесь — https://aipapersacademy.com/large-language-models-as-optimizers/
Быстрая оптимизация с помощью OPRO
Давайте перейдем к делу и посмотрим, как работает структура OPRO. Целью этого процесса является максимизация точности набора данных с подсказками и ответами, например набора данных GSM8K, который является одним из наборов данных, используемых в статье и содержит математические задачи. И OPRO сделает это, выдав инструкцию, которая будет добавлена к подсказкам в наборе данных для получения более качественных ответов, таких как «давайте подумаем шаг за шагом» или «разберем это на части», которые мы добавим перед оригинальная подсказка.
Итак, как это работает?
