Nucleus Sampling
Categoria
Termos Tecnicos Avancados
Nucleus Sampling (top-p) e uma estrategia de amostragem que seleciona tokens do menor conjunto cuja probabilidade acumulada excede um limiar p. Equilibra diversidade e coerencia na geracao de texto, sendo preferida para conversacao e escrita criativa.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e Nucleus Sampling
Nucleus Sampling, tambem conhecido como top-p sampling, e uma tecnica de decodificacao para modelos de linguagem que amostra tokens do menor subconjunto (nucleus) cuja probabilidade acumulada excede um limiar p.
Como funciona:
- Ordena tokens por probabilidade decrescente
- Seleciona os primeiros tokens ate a soma atingir p (ex: 0.9)
- Re-normaliza probabilidades dentro do nucleus
- Amostra aleatoriamente do subconjunto selecionado
Comparacao com outras estrategias:
- Greedy: sempre escolhe o mais provavel (pouca diversidade)
- Top-k: seleciona dos K mais provaveis (K fixo)
- Top-p (nucleus): tamanho do conjunto se adapta ao contexto
- Temperature: controla distribuicao antes da amostragem
A Trilion calibra parametros de amostragem incluindo nucleus sampling para cada aplicacao de LLM, otimizando o equilibrio entre criatividade e coerencia nas respostas geradas.
