Temperature
Temperature - это параметр, который управляет тем, насколько "острым" является распределение вероятностей LLM при сэмплировании следующего токена. Низкие значения смещают выбор в сторону наиболее вероятных токенов ради стабильного, предсказуемого вывода; высокие значения позволяют выбирать менее вероятные токены, давая более творческие и разнообразные ответы. Большинство API принимают значения от 0 до 2.
Temperature - это параметр, который управляет тем, насколько "острым" является распределение вероятностей LLM при сэмплировании следующего токена. Низкие значения смещают выбор в сторону наиболее вероятных токенов ради стабильного, предсказуемого вывода; высокие значения позволяют выбирать менее вероятные токены, давая более творческие и разнообразные ответы. Большинство API принимают значения от 0 до 2.
Почему это важно
Один и тот же промпт при temperature 0.2 и 1.0 даёт совершенно разные тон, длину и креативность. Для черновиков блога, сгенерированных ИИ, слишком низкое значение означает механический и предсказуемый текст; слишком высокое - рост фактических ошибок и галлюцинаций. Осознанная настройка temperature вместе с инженерией промптов - обязательное условие стабильного качества ИИ-контента.
Поведение по диапазонам
| Temperature | Характеристика | Подходящие задачи |
|---|---|---|
| 0.0 - 0.2 | Детерминированный, воспроизводимый | Классификация, извлечение, код, фактические ответы |
| 0.3 - 0.5 | Стабильный с лёгкой вариативностью | Суммаризация, перевод, структурированные ответы |
| 0.6 - 0.8 | Естественная креативность | Черновики блога, письма, маркетинговые тексты |
| 0.9 - 1.2 | Разнообразный, творческий | Генерация идей, мозговой штурм |
| 1.3+ | Шумный, больше галлюцинаций | Редко используется в продакшене |
Temperature и Top-p
Ещё один распространённый параметр сэмплирования - top-p (nucleus sampling), который рассматривает только токены, чья накопленная вероятность достигает p.
- Temperature перестраивает всё распределение вероятностей.
- Top-p ограничивает размер пула кандидатов.
- Не настраивайте оба сразу: и OpenAI, и Anthropic рекомендуют менять только один. Настройка обоих делает поведение непредсказуемым.
Рекомендуемые значения по задачам
Посты на фактах (туториалы, гайды): 0.2 - 0.4. Сначала точность, креативность минимальна.
Черновики блога (эссе, аналитика): 0.6 - 0.7. Естественные предложения с единым голосом.
Генерация идей (варианты заголовков, версии текста): 0.9 - 1.0. Разнообразие - это и есть цель.
Суммаризация и перевод: 0.0 - 0.3. Важна воспроизводимость.
FAQ и определения: 0.0 - 0.2. На один и тот же вопрос должен быть один и тот же ответ.
Предостережения
Связь с галлюцинациями: Чем выше temperature, тем больше модель сэмплирует токены за пределами основного обучающего распределения, повышая частоту фактических ошибок. Для задач, чувствительных к галлюцинациям, всегда снижайте temperature.
Воспроизводимость: Temperature 0 не является идеально детерминированной. Если вам нужны идентичные результаты, фиксируйте также параметр seed.
Значения по умолчанию: Значения по умолчанию различаются у разных API (OpenAI 1.0, Anthropic 1.0, Google ~1.0). Вызов без указания значения даёт более творческий вывод, чем можно ожидать.
Источники: