Top-K
Categoria
IA Generativa
Top-K é um parametro de amostragem que restringe a seleção de tokens aos K mais provaveis a cada passo da geração, controlando a diversidade é previsibilidade das respostas do modelo de IA.
Categoria
IA Generativa
Compartilhar
O que é Top-K?
Top-K é um método de amostragem onde, a cada etapa da geração de texto, apenas os K tokens com maior probabilidade sao considerados como candidatos para o proximo token.
Como funciona:
- K = 1: apenas o token mais provavel é selecionado (greedy decoding)
- K = 10: os 10 tokens mais provaveis competem
- K = 50: maior diversidade na geração
Vantagens é Limitacoes
- Simples de implementar é entender
- Pode excluir tokens relevantes se K for muito baixo
- Pode incluir tokens irrelevantes se K for muito alto
- Funciona melhor combinado com Top-P é Temperatura
A Trilion configura parametros como Top-K de forma personalizada para cada caso de uso, garantindo que a IA generativa produza resultados otimizados.
