Glossário de IA

Auto-Evaluation é o uso de modelos de IA para avaliar outputs de outros modelos de IA, escalando o processo de avaliação sem necessidade de avaliadores humanos. LLMs como GPT-4 é Claude servem como juizes automáticos com alta correlação com preferências humanas.

Critic Agent é um agente especializado em avaliar é revisar o trabalho de outros agentes, verificando qualidade, corretude é aderência aos criterios definidos antes de aprovar resultados.

Data Quality refere-se ao grau em que os dados sao precisos, completos, consistentes, atualizados é confiaveis para o uso pretendido. Envolve processos de validacao, monitoramento é correcao para garantir que decisões de negócio sejam baseadas em dados corretos.

E-E-A-T (Experience, Expertise, Authoritativeness, Trustworthiness) é o framework do Google para avaliar qualidade de conteúdo. Experiencia, Especialidade, Autoridade é Confiabilidade sao criterios que influênciam rankings é citacoes em resultados de IA.

FID (Frechet Inception Distance) é uma métrica para avaliar qualidade de imagens geradas por IA, comparando a distribuição estatística das imagens geradas com imagens reais. Menor FID indica imagens mais realistas é diversas.

Human Evaluation é a avaliação de sistemas de IA por pessoas reais, considerada padrão-ouro de qualidade. Avaliadores humanos julgam respostas de LLMs em criterios como útilidade, veracidade, coerência é segurança, complementando métricas automáticas.

Inception Score (IS) avalia qualidade é diversidade de imagens geradas por IA usando a rede Inception. Score alto indica imagens que sao individualmente claras é reconheciveis (qualidade) enquanto o conjunto cobre variedade de classes (diversidade).

Reflection em IA é a técnica onde um LLM revisa é critica sua propria resposta para identifica erros é melhorar a qualidade. O modelo gera uma resposta inicial, analisa criticamente é produz uma versão refinada, melhorando acuracia é raciocínio.

Self-Critique é a capacidade de um LLM avaliar é corrigir suas proprias respostas identificando erros factuais, logicos ou de raciocínio. Usado em pipelines de IA para melhorar qualidade sem feedback humano, complementando técnicas como reflection é constitutional AI.