BERTScore
Categoria
Termos Tecnicos Avancados
BERTScore e uma metrica de avaliacao semantica que usa embeddings contextuais do BERT para comparar textos gerados com referencias. Captura similaridade de significado alem de sobreposicao lexical, oferecendo melhor correlacao com julgamento humano.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e BERTScore
BERTScore e uma metrica de avaliacao de texto gerado que utiliza representacoes contextuais de modelos BERT para medir similaridade semantica entre texto gerado e texto de referencia, superando limitacoes de metricas baseadas em n-grams.
Como funciona:
- Gera embeddings contextuais para cada token nos dois textos
- Calcula similaridade cosseno entre tokens
- Computa precisao, recall e F1 baseados em matching de tokens
- Ponderacao IDF opcional para tokens mais informativos
Vantagens sobre BLEU/ROUGE:
- Captura similaridade semantica, nao apenas lexical
- Reconhece sinonimos e parafrases validas
- Melhor correlacao com julgamento humano
- Funciona bem cross-lingua com modelos multilinguais
A Trilion adota BERTScore como metrica semantica principal em avaliacoes de geracao de texto, complementando metricas tradicionais para uma avaliacao mais fiel a qualidade percebida por humanos.
