Temperature
Categoria
Termos Tecnicos Avancados
Temperature e um hiperparametro de amostragem em LLMs que controla a aleatoriedade da geracao de texto. Valores baixos (~0.1) geram texto deterministico e focado, valores altos (~1.0 ) produzem respostas mais criativas e diversas.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e Temperature em LLMs
Temperature e um parametro fundamental que controla a distribuicao de probabilidade sobre tokens durante a geracao de texto em modelos de linguagem, ajustando o equilibrio entre determinismo e criatividade.
Como funciona:
- Divide logits pela temperature antes do softmax
- Temperature = 0: equivale a greedy decoding (deterministico)
- Temperature = 1: distribuicao original do modelo
- Temperature > 1: distribuicao mais uniforme (mais aleatorio)
- Temperature < 1: concentra probabilidade nos tokens mais provaveis
Recomendacoes por caso de uso:
- Codigo e tarefas fatuais: 0.0 - 0.3
- Conversacao e assistente: 0.5 - 0.7
- Escrita criativa: 0.8 - 1.0
- Brainstorming: 1.0 - 1.5
A Trilion calibra cuidadosamente temperature e outros parametros de amostragem para cada aplicacao de IA de clientes, otimizando o equilibrio entre precisao e criatividade conforme a necessidade.
