Top-K
Categoria
IA Generativa
Top-K e um parametro de amostragem que restringe a selecao de tokens aos K mais provaveis a cada passo da geracao, controlando a diversidade e previsibilidade das respostas do modelo de IA.
Categoria
IA Generativa
Compartilhar
O que e Top-K?
Top-K e um metodo de amostragem onde, a cada etapa da geracao de texto, apenas os K tokens com maior probabilidade sao considerados como candidatos para o proximo token.
Como funciona:
- K = 1: apenas o token mais provavel e selecionado (greedy decoding)
- K = 10: os 10 tokens mais provaveis competem
- K = 50: maior diversidade na geracao
Vantagens e Limitacoes
- Simples de implementar e entender
- Pode excluir tokens relevantes se K for muito baixo
- Pode incluir tokens irrelevantes se K for muito alto
- Funciona melhor combinado com Top-P e Temperatura
A Trilion configura parametros como Top-K de forma personalizada para cada caso de uso, garantindo que a IA generativa produza resultados otimizados.
