Zero-Shot Prompting

"Zero-shot prompting" переводится на русский как "Промптинг без примеров или дословно нулевой выстрел".

Большие языковые модели (LLMs), такие как GPT-3, настроены на следование инструкциям и обучаются на больших объемах данных, поэтому они способны выполнять некоторые задачи промптинга без примеров.

Мы протестировали несколько примеров нулевого выстрела в предыдущем разделе. Вот один из примеров, которые мы использовали:

Промпт:

Классифицируй текст как нейтральный, отрицательный или положительный. Текст: Я думаю, что отпуск - это нормально. Настроение:

Результат:

Нейтральный

Обратите внимание, что в данном запросе мы не предоставили модели никаких примеров текста с их классификациями, однако LLM уже понимает "настроение" - это возможности нулевого выстрела (промптинга без примеров).

Оптимизация инструкций привела к улучшению в области нулевого обучения в исследовании Wei et al. (2022). Термин "оптимизация инструкций" представляет собой концепцию настройки моделей на наборах данных, описанных при помощи инструкций. Более того, был использован метод RLHF (усиления обучения на основе обратной связи от человека - RLHF) для масштабирования оптимизации инструкций, при котором модель настраивается на лучшее соответствие предпочтениям людей. Этот недавний подход позволяет моделям, таким как ChatGPT, демонстрировать такие способности. Мы рассмотрим все эти подходы и методы в следующих разделах.

Когда Zero-Shot промптинг не работает, рекомендуется предоставить примеры в запросе, что приводит к few-shot промптингу. В следующем разделе мы это продемонстрируем.