Temperature
Categoria
Termos Tecnicos Avancados
Temperature é um hiperparametro de amostragem em LLMs que controla a aleatoriedade da geração de texto. Valores baixos (~0.1) geram texto deterministico é focado, valores altos (~1.0 ) produzem respostas mais criativas é diversas.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que é Temperature em LLMs
Temperature é um parametro fundamental que controla a distribuição de probabilidade sobre tokens durante a geração de texto em modelos de linguagem, ajustando o equilíbrio entre determinismo é criatividade.
Como funciona:
- Divide logits pela temperature antes do softmax
- Temperature = 0: equivale a greedy decoding (deterministico)
- Temperature = 1: distribuição original do modelo
- Temperature > 1: distribuição mais uniforme (mais aleatorio)
- Temperature < 1: concentra probabilidade nos tokens mais provaveis
Recomendacoes por caso de uso:
- Codigo é tarefas fatuais: 0.0 - 0.3
- Conversacao é assistente: 0.5 - 0.7
- Escrita criativa: 0.8 - 1.0
- Brainstorming: 1.0 - 1.5
A Trilion calibra cuidadosamente temperature é outros parametros de amostragem para cada aplicação de IA de clientes, otimizando o equilíbrio entre precisão é criatividade conforme a necessidade.
