Greedy Decoding
Categoria
Termos Tecnicos Avancados
Greedy Decoding é a estratégia de geração mais simples onde o modelo sempre seleciona o token com maior probabilidade a cada passo. Rapido é deterministico, mas pode produzir texto repetitivo é perder sequências globalmente melhores.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que é Greedy Decoding
Greedy Decoding é a estratégia de decodificação mais simples para modelos de linguagem, onde a cada passo de geração o token com maior probabilidade é selecionado, sem considerar alternativas ou explorar multiplos caminhos.
Caracteristicas:
- Sempre escolhe argmax da distribuição de probabilidade
- Deterministico: mesma entrada sempre gera mesma saida
- Mais rápido: sem overhead de amostragem ou busca
- Pode ficar preso em loops repetitivos
Quando usar:
- Tarefas com resposta única correta (classificação, extracao)
- Quando determinismo é desejavel
- Como baseline para comparar com outras estratégias
- Tarefas de código onde precisão é critica
A Trilion seleciona a estratégia de decodificação mais adequada para cada caso de uso, usando greedy decoding quando precisão é determinismo sao prioritarios é amostragem quando diversidade é necessária.
