Generated Knowledge Prompting

"Generated Knowledge Prompting" переводится дословно на русский как "Промптинг генераций знаний"

Источник изображения: Liu et al. 2022

Большие языковые модели (LLM) постоянно совершенствуются, и одной из популярных техник является возможность интегрировать знания или информацию, чтобы помочь модели делать более ответы.

С применением аналогичной концепции, можно ли также использовать метод промптинга генерации знаний перед формулированием ответов? Именно этим вопросом занимаются авторы статьи Liu et al. 2022, где предлагается генерировать знания для использования в качестве части промпта. Особенно интересно, насколько такой подход полезен для решения задач, связанных с пониманием контекста и здравого смысла.

Давайте начнем с простого промпта:

Промпт:

В гольфе частью игры является стремление набрать большее количество очков, чем у других игроков.

Результат:

Да.

Данная ошибка выявляет ограничения LLM в решении задач, требующих более глубокого понимания мира. Каким образом можно усовершенствовать ситуацию, используя технику промптинга генерации знаний?

Сначала сгенерируем несколько "знаний":

Промпт:

Ввод: Греция больше Мексики. Знания: Площадь Греции составляет примерно 131 957 кв. км, а площадь Мексики - примерно 1 964 375 кв. км, т.е. Мексика на 1 389% больше Греции. Ввод: Очки постоянно запотевают. Знание: Конденсация происходит на линзах очков, когда водяной пар из вашего пота, дыхания и окружающей влажности оседает на холодной поверхности, остывает, а затем превращается в крошечные капли жидкости, образуя пленку, которую вы видите как туман. Ваши линзы будут относительно прохладными по сравнению с вашим дыханием, особенно когда на улице холодно. Ввод: Рыба способна мыслить. Знание: Рыбы более умны, чем может показаться. Во многих аспектах, таких как память, их познавательные способности соответствуют или превосходят способности "высших" позвоночных, включая некоторых нелюдских приматов. Долгосрочная память рыб помогает им следить за сложными социальными отношениями. Ввод: Частое курение большого количества сигарет на протяжении жизни человека приводит к увеличению вероятности развития рака легких, превышающей обычные значения. Знание: Те, кто постоянно употреблял менее одной сигареты в день на протяжении всей жизни, имели девять раз больший риск умереть от рака легких, чем некурящие. Среди людей, куривших от одной до 10 сигарет в день, риск умереть от рака легких был почти в 12 раз выше, чем у некурящих. Ввод: Камень имеет тот же размер, что и галька. Знание: Галька - это обломок скалы размером от 4 до 64 миллиметров в соответствии с шкалой Уддена-Вентворта в седиментологии. Гальки, как правило, считаются крупнее гранул (диаметром 2-4 миллиметра) и меньше булыжников (диаметром 64-256 миллиметров).\ Ввод: В гольфе частью игры является стремление набрать большее количество очков, чем у других игроков. Знание:

Знание 1:

Цель игры в гольф - пройти набор лунок за наименьшее количество ударов. Раунд игры в гольф обычно состоит из 18 лунок. Каждая лунка играется один раз за раунд на стандартном поле для гольфа. Каждый удар засчитывается как одно очко, а общее количество ударов используется для определения победителя игры.

Знание 2:

Гольф - это высокоточный вид спорта, в котором соревнующиеся игроки (или гольфисты) используют различные виды клюшек для отбивания мячей в лунки на поле с наименьшим количеством ударов. Цель - пройти поле с наименьшим счетом, который рассчитывается путем суммирования общего количества ударов, сделанных на каждой лунке. Игрок, набравший наименьшее количество ударов, побеждает в игре.

Мы используем промпты, представленные в статье Liu et al. 2022.

Следующий этап - интеграция знаний и формирование ответа. Мы изменили вопрос на формат вопроса и ответа, чтобы указать структуру ответа.

Промпт:

Вопрос: В гольфе частью игры является стремление набрать большее количество очков, чем у других игроков. Да или нет? Знание: Цель гольфа - сыграть набор лунок за минимальное количество ударов. Раунд игры обычно состоит из 18 лунок. Каждая лунка играется один раз в раунде на стандартном поле для гольфа. Каждый удар засчитывается как одно очко, и общее количество ударов используется для определения победителя игры. Объясните и ответьте: Да, часть гольфа заключается в попытке набрать больше очков, чем у других игроков. Однако цель игры в гольфе - это не набор высокого количества очков, а наоборот, прохождение набора лунок с использованием минимального количества ударов. Общее количество ударов определяет победителя игры.

Ответ 1 (очень высокая уверенность):

Нет, цель гольфа не заключается в наборе большего количества очков по сравнению с другими. На самом деле, цель состоит в прохождении набора лунок с минимальным количеством ударов. Общее количество ударов определяет победителя игры, а не общее количество очков.

Вопрос: В гольфе частью игры является стремление набрать большее количество очков, чем у других игроков. Да или Нет? Знания: Гольф - это высокоточный вид спорта, в котором соревнующиеся игроки (или гольфисты) используют различные виды клюшек, чтобы отбить мячи в ряд лунок на поле, используя наименьшее количество ударов. Цель - пройти поле с наименьшим счетом, который рассчитывается путем суммирования общего количества ударов, сделанных на каждой лунке. Игрок, набравший наименьшее количество ударов, побеждает в игре. Объясните и ответьте:

Ответ 2 (уверенность намного ниже):

Да, часть гольфа заключается в попытке набрать большее количество очков, чем у других. Каждый игрок стремится завершить поле с наименьшим количеством ударов, которое рассчитывается путем суммирования общего числа ударов на каждой лунке. Игрок с наименьшим количеством ударов побеждает в игре.

С данным примером действительно происходят интересные взаимодействия. В первом ответе модель проявила высокую уверенность, однако во втором ответе уверенность стала не такой выраженной. Вы упростили процесс для демонстрации, но при получении окончательного ответа следует учесть дополнительные детали. Более подробные сведения доступны в статье Liu et al. 2022.