Top-P
Categoria
IA Generativa
Top-P (nucleus sampling) é um parametro que limita a seleção de tokens ao menor conjunto cuja probabilidade acumulada atinge o valor P definido, oferecendo controle fino sobre a diversidade das respostas de IA.
Categoria
IA Generativa
Compartilhar
O que é Top-P?
Top-P, também conhecido como nucleus sampling, é uma técnica de amostragem usada na geração de texto onde apenas os tokens mais provaveis, cuja soma de probabilidades atinge o limiar P, sao considerados.
Exemplo prático:
- Top-P = 0.1: apenas os tokens mais provaveis (10% da massa de probabilidade) sao considerados
- Top-P = 0.9: uma gama ampla de tokens é considerada, aumentando a diversidade
- Top-P = 1.0: todos os tokens sao considerados
Top-P vs Temperatura
- Temperatura altera a distribuição de probabilidade
- Top-P corta tokens abaixo de um limiar acumulado
- Ambos podem ser combinados para controle refinado
A Trilion útiliza Top-P em conjunto com outros parametros para ajustar o comportamento de modelos generativos em diferentes cenários de aplicação.
