Perplexity metrica
Categoria
Termos Tecnicos Avancados
Perplexity e uma metrica que mede quao bem um modelo de linguagem prevê texto, calculada como a exponencial da entropia cruzada media. Menor perplexity indica melhor modelagem da linguagem. Usada para avaliar e comparar modelos de linguagem.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e Perplexity (metrica)
Perplexity e uma metrica fundamental para avaliar modelos de linguagem que mede quao surpreso o modelo fica ao encontrar o proximo token em um texto. Matematicamente, e a exponencial da entropia cruzada media.
Interpretacao:
- Perplexity de 10: modelo hesita entre ~10 opcoes por posicao
- Menor perplexity = modelo prevê melhor o texto
- Perplexity de 1 seria predicao perfeita (impossivel na pratica)
- Depende do vocabulario e do corpus de avaliacao
Usos praticos:
- Comparar versoes de um modelo durante treinamento
- Avaliar qualidade de fine-tuning
- Detectar texto gerado por IA vs texto humano
- Selecionar hiperparametros de treinamento
A Trilion utiliza perplexity como uma das metricas de avaliacao em projetos de desenvolvimento e fine-tuning de modelos de linguagem, monitorando qualidade ao longo do treinamento.
