Self-Consistency
"Self-Consistency" переводится дословно на русский как "Самосогласованность"
Одним из более продвинутых техник промпт-инжиниринга является метод самосогласованности. Предложенный в Wang et al. (2022), техника самосогласованности стремится "заменить простую жадную декодировку, используемую в методе few-shot CoT". Идея заключается в выборе нескольких различных вариантов ответа через метод few-shot CoT, а затем использование процесса генерации для выбора наиболее подходящего и логичного ответа. Это помогает улучшить производительность CoT-метода в задачах, связанных с арифметикой и логикой.
Давайте попробуем следующий пример для арифметического рассуждения:
Промпт:
Результат:
35
Ответ неверный! Как можно улучшить результат с помощью метода самосогласованности? Давайте попробуем. Мы будем использовать примеры с малым количеством данных из работы Wang et al. (2022) (Таблица 17):
Промпт:
Результат 1:
Когда мне было 6 лет, моя сестра была вдвое моложе меня, так что ей было 3 года. Сейчас мне 70 лет, поэтому ей 70 - 3 = 67 лет. Ответ: 67.
Результат 2:
Когда рассказчику было 6 лет, его сестра была вдвое моложе его, т.е. 3. Теперь, когда рассказчику 70 лет, его сестре было бы 70 - 3 = 67 лет. Ответ: 67.
Результат 3:
Когда мне было 6 лет, моя сестра была вдвое моложе меня, значит ей было 3 года. Сейчас мне 70 лет, так что ей 70/2 = 35 лет. Ответ: 35.
Для получения окончательного ответа требуется выполнить несколько этапов (подробности описаны в статье), но для простоты можно заметить, что среди них выделяется доминирующий ответ, который становится окончательным.
Last updated