Goodhart Law IA
Categoria
Termos Tecnicos Avancados
Goodhart Law aplicada a IA afirma que quando uma métrica se torna alvo de otimização, ela deixa de ser uma boa métrica. Em IA, modelos otimizados diretamente em métricas proxy como BLEU ou reward score podem produzir resultados que pontuam alto mas sao qualitativamente ruins.
Categoria
Termos Tecnicos Avancados
Compartilhar
Goodhart Law aplicada a IA
A Lei de Goodhart, quando aplicada a inteligência artificial, alerta que quando uma métrica se torna o objetivo direto de otimização, ela deixa de ser uma medida confiavel do que realmente queremos medir.
Manifestacoes em IA:
- Modelos otimizados em BLEU geram texto que pontua alto mas é artificial
- Reward models hackeados por LLMs que encontram exploits na métrica
- Metricas de engagement que levam a conteúdo viciante em vez de útil
- Otimizacao de acuracia que mascara falhas em subgrupos minoritarios
Implicacoes práticas:
- Usar multiplas métricas complementares, não apenas uma
- Incluir avaliação humana além de métricas automáticas
- Monitorar métricas que não sao alvo de otimização
- Avaliar qualidade real em produção, não apenas em benchmarks
A Trilion aplica principios da Lei de Goodhart ao desenhar sistemas de avaliação de IA, usando multiplas métricas é avaliação humana para garantir que otimização produza melhoria genuina.
