AUC

Categoria
Fundamentos de IA
AUC (Area Under the Curve) e a area sob a curva ROC, resumindo o desempenho global de um classificador em um unico valor entre 0 e 1. Quanto mais proximo de 1, melhor a capacidade discriminativa do modelo.
Categoria
Fundamentos de IA
Compartilhar
LinkedInWhatsApp

O que e AUC?

AUC (Area Under the ROC Curve) e uma metrica que resume o desempenho de um classificador binario em um unico numero. Representa a probabilidade de o modelo classificar corretamente um exemplo positivo acima de um negativo aleatorio.

Interpretacao

  • AUC = 1.0: classificador perfeito
  • AUC = 0.9-1.0: excelente
  • AUC = 0.8-0.9: bom
  • AUC = 0.7-0.8: razoavel
  • AUC = 0.5: equivalente a classificacao aleatoria
  • AUC < 0.5: pior que aleatorio (modelo invertido)

Vantagens

AUC e independente do limiar de classificacao e funciona bem com classes desbalanceadas. E uma das metricas mais robustas para comparar classificadores.

Limitacoes

Pode ser enganosa quando as classes sao muito desbalanceadas — nesse caso, a AUC-PR (area sob a curva Precisao-Recall) pode ser mais informativa. Na Trilion, AUC e uma metrica padrao na avaliacao de modelos de classificacao.

Glossário...

Acreditamos que a alquimia de Retórica, Criatividade e variadas Habilidades humanas criam resultados incríveis.