Automatic Prompt Engineer (APE)

"Automatic Prompt Engineer (APE)" переводится дословно на русский как "Автоматический инженер промптов (APE)"

Источник изображения: Zhou и др., (2022)

В исследовании, проведенном Чжоу и его коллегами в работе Zhou и др., (2022), был представлен фреймворк с названием "Автоматический инженер промптов" (APE). Этот фреймворк автоматически создает и выбирает инструкции. Основная цель APE заключается в том, чтобы генерировать инструкции с использованием языковой модели (LLM) и искать варианты решений. Эта проблема рассматривается как задача оптимизации в черном ящике, где модель стремится создать наилучшие инструкции для решения задачи.

Основная цель этого фреймворка - придумывать инструкции для решения задач. Он работает, как человек, который пытается найти наилучший способ объяснить, как решить задачу.

Первый шаг включает использование большой языковой модели (как инструмента для создания текста), которой предоставляются примеры вывода. С её помощью генерируются разные варианты инструкций для решения задачи. Эти варианты решений будут использоваться как направление для дальнейшего поиска. Сформулированные инструкции применяются на целевой модели, а затем находится наиболее подходящая инструкция на основе оценок и вычислений.

Атоматический инженер промптов (APE) находит лучший Zero-Shot CoT промпт, чем созданный человеком "Давайте думать шаг за шагом" промпт (Kojima и др., 2022).

Промпт "Давайте разберемся пошагово, чтобы убедиться, что у нас есть правильный ответ" вызывает цепочку мыслей и улучшает результаты на тестах MultiArith и GSM8K.

MultiArith - это тестовый набор или набор задач, который включает в себя разнообразные математические вычисления или операции, созданные для оценки и сравнения производительности алгоритмов и моделей, способных решать такие задачи. GSM8K - это сокращение от "General Semantic Parsing Benchmark with 8K examples", что можно перевести как "Общий бенчмарк семантического анализа с 8 тысячами примеров". Это набор задач и данных, разработанный для оценки и сравнения способности алгоритмов и моделей в области семантического анализа, то есть для перевода естественного языка в структурированные формы, такие как программы или запросы баз данных.

Источник изображения: Zhou и др., (2022)

В данном разделе рассматривается существенный аспект промпт-инжиниринга, а именно, концепция автоматической оптимизации промптов. Вопреки тому, что мы не углубляемся в этот вопрос в данном руководстве, хотелось бы выделить несколько ключевых исследований для тех, кто заинтересован в этой теме:

• AutoPrompt – предлагает подход к автоматическому созданию промптов для разнообразных задач на основе поиска, направляемого градиентом.

• Prefix Tuning – легкая альтернатива тонкой настройке, которая добавляет обучаемый непрерывный префикс для задач генерации естественного языка.

• Prompt Tuning – предлагает механизм для обучения гибких запросов с использованием обратного распространения ошибки.