Human Evaluation
Categoria
Termos Tecnicos Avancados
Human Evaluation e a avaliacao de sistemas de IA por pessoas reais, considerada padrao-ouro de qualidade. Avaliadores humanos julgam respostas de LLMs em criterios como utilidade, veracidade, coerencia e seguranca, complementando metricas automaticas.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e Human Evaluation
Human Evaluation e o processo de utilizar avaliadores humanos para julgar a qualidade de outputs de sistemas de IA, sendo considerado o padrao-ouro de avaliacao por capturar nuances que metricas automaticas nao conseguem.
Metodologias:
- Side-by-side: comparar respostas de dois modelos diretamente
- Likert scale: pontuar qualidade em escala numerica
- Ranking: ordenar multiplas respostas por qualidade
- Task-based: avaliar se a tarefa foi completada com sucesso
Desafios:
- Custo alto e tempo longo para coleta de avaliacoes
- Subjetividade e variabilidade entre avaliadores
- Dificuldade de escalar para muitas avaliacoes
- Necessidade de guidelines claras e treinamento
A Trilion conduz avaliacoes humanas rigorosas de sistemas de IA como parte do ciclo de qualidade, garantindo que metricas automaticas sejam validadas pela percepcao real de usuarios.
