Glossário de IA

Auto-Evaluation e o uso de modelos de IA para avaliar outputs de outros modelos de IA, escalando o processo de avaliacao sem necessidade de avaliadores humanos. LLMs como GPT-4 e Claude servem como juizes automaticos com alta correlacao com preferencias humanas.

Critic Agent e um agente especializado em avaliar e revisar o trabalho de outros agentes, verificando qualidade, corretude e aderencia aos criterios definidos antes de aprovar resultados.

Data Quality refere-se ao grau em que os dados sao precisos, completos, consistentes, atualizados e confiaveis para o uso pretendido. Envolve processos de validacao, monitoramento e correcao para garantir que decisoes de negocio sejam baseadas em dados corretos.

E-E-A-T (Experience, Expertise, Authoritativeness, Trustworthiness) e o framework do Google para avaliar qualidade de conteudo. Experiencia, Especialidade, Autoridade e Confiabilidade sao criterios que influenciam rankings e citacoes em resultados de IA.

FID (Frechet Inception Distance) e uma metrica para avaliar qualidade de imagens geradas por IA, comparando a distribuicao estatistica das imagens geradas com imagens reais. Menor FID indica imagens mais realistas e diversas.

Human Evaluation e a avaliacao de sistemas de IA por pessoas reais, considerada padrao-ouro de qualidade. Avaliadores humanos julgam respostas de LLMs em criterios como utilidade, veracidade, coerencia e seguranca, complementando metricas automaticas.

Inception Score (IS) avalia qualidade e diversidade de imagens geradas por IA usando a rede Inception. Score alto indica imagens que sao individualmente claras e reconheciveis (qualidade) enquanto o conjunto cobre variedade de classes (diversidade).

Reflection em IA e a tecnica onde um LLM revisa e critica sua propria resposta para identifica erros e melhorar a qualidade. O modelo gera uma resposta inicial, analisa criticamente e produz uma versao refinada, melhorando acuracia e raciocinio.

Self-Critique e a capacidade de um LLM avaliar e corrigir suas proprias respostas identificando erros factuais, logicos ou de raciocinio. Usado em pipelines de IA para melhorar qualidade sem feedback humano, complementando tecnicas como reflection e constitutional AI.