Perplexity métrica
Categoria
Termos Tecnicos Avancados
Perplexity é uma métrica que mede quao bem um modelo de linguagem prevê texto, calculada como a exponencial da entropia cruzada media. Menor perplexity indica melhor modelagem da linguagem. Usada para avaliar é comparar modelos de linguagem.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que é Perplexity (métrica)
Perplexity é uma métrica fundamental para avaliar modelos de linguagem que mede quao surpreso o modelo fica ao encontrar o proximo token em um texto. Matématicamente, é a exponencial da entropia cruzada media.
Interpretacao:
- Perplexity de 10: modelo hesita entre ~10 opcoes por posicao
- Menor perplexity = modelo prevê melhor o texto
- Perplexity de 1 seria predição perfeita (impossível na prática)
- Depende do vocabulário é do corpus de avaliação
Usos práticos:
- Comparar versões de um modelo durante treinamento
- Avaliar qualidade de fine-tuning
- Detectar texto gerado por IA vs texto humano
- Selecionar hiperparametros de treinamento
A Trilion útiliza perplexity como uma das métricas de avaliação em projetos de desenvolvimento é fine-tuning de modelos de linguagem, monitorando qualidade ao longo do treinamento.
