Настройки LLM

При использовании промптов вы взаимодействуете с моделью LLM через API или напрямую. Вам предоставляется возможность настройки нескольких параметров, чтобы достичь разнообразных результатов при работе с вашими промптами.

Температура - простыми словами, чем ниже значение температуры,тем более предсказуемыми станут результаты. Это означает, что модель будет выбирать наиболее вероятное следующее слово или символ. Повышение температуры может увеличить случайность, что приведет к более разнообразным или креативным результатам. Практически вы увеличиваете вес других возможных слов. В контексте использования, для задач, связанных с ответами на вопросы на основе фактов, рекомендуется выбирать более низкое значение температуры, чтобы получать более точные и краткие ответы. В то время как для создания стихов или решения других творческих задач, может быть полезно увеличить значение температуры.

Top_p - Точно так же, с помощью метода top_p, который также называется "ядром сэмплирования", вы можете регулировать степень детерминированности модели при генерации текста. Если вам необходимы более конкретные и фактологические ответы, установите низкое значение этого параметра. В случае, если вы хотите получить более разнообразные варианты ответов, увеличьте его значение.

Общая рекомендация заключается в том, чтобы изменять только один параметр, а не оба.

Перед тем, как перейти к некоторым простым примерам, имейте в виду, что ваши результаты могут отличаться в зависимости от версии LLM, которую вы используете.