Glossário de IA

Acuracia e a metrica mais simples de avaliacao de classificadores, representando a proporcao total de previsoes corretas. Pode ser enganosa em datasets desbalanceados.

AI Audit e o processo sistematico de avaliar sistemas de inteligencia artificial quanto a conformidade, fairness, seguranca e desempenho. Inclui revisao de dados, modelos, processos e impactos para garantir que a IA opere dentro de padroes aceitaveis.

AI Readiness avalia a prontidao de uma organizacao para adotar inteligencia artificial com sucesso. Examina dados, infraestrutura, talentos, cultura, processos e estrategia para identificar gaps que precisam ser preenchidos antes de iniciar projetos de IA.

AI Vendor Selection e o processo estruturado de avaliar e selecionar fornecedores de tecnologia de inteligencia artificial. Considera criterios como capacidade tecnica, compliance, custo, suporte, escalabilidade e alinhamento estrategico.

Auto-Evaluation e o uso de modelos de IA para avaliar outputs de outros modelos de IA, escalando o processo de avaliacao sem necessidade de avaliadores humanos. LLMs como GPT-4 e Claude servem como juizes automaticos com alta correlacao com preferencias humanas.

BERTScore e uma metrica de avaliacao semantica que usa embeddings contextuais do BERT para comparar textos gerados com referencias. Captura similaridade de significado alem de sobreposicao lexical, oferecendo melhor correlacao com julgamento humano.

BLEU Score e uma metrica automatica para avaliar qualidade de traducao automatica e geracao de texto, comparando n-grams do texto gerado com referencias humanas. Amplamente usada apesar de limitacoes conhecidas em capturar semantica e fluencia.

Critic Agent e um agente especializado em avaliar e revisar o trabalho de outros agentes, verificando qualidade, corretude e aderencia aos criterios definidos antes de aprovar resultados.

Cross-Validation e uma tecnica de avaliacao de modelos que divide os dados em K partes, treinando e testando K vezes para obter uma estimativa robusta do desempenho. O mais comum e o K-Fold com K=5 ou K=10.

Digital Maturity avalia o nivel de maturidade digital de uma organizacao em dimensoes como tecnologia, dados, cultura, processos e lideranca. Modelos de maturidade ajudam empresas a identificar gaps e definir roadmaps de evolucao estrategica.

Human Evaluation e a avaliacao de sistemas de IA por pessoas reais, considerada padrao-ouro de qualidade. Avaliadores humanos julgam respostas de LLMs em criterios como utilidade, veracidade, coerencia e seguranca, complementando metricas automaticas.

Impact Assessment de IA e uma avaliacao abrangente dos efeitos potenciais de um sistema de inteligencia artificial sobre individuos, grupos e a sociedade. Examina impactos em direitos humanos, privacidade, equidade, emprego e meio ambiente.

Matriz de Confusao e uma tabela que mostra o desempenho de um classificador, comparando previsoes com valores reais. Exibe verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos.

MMLU (Massive Multitask Language Understanding) e um benchmark que avalia o conhecimento e raciocinio de LLMs em 57 areas academicas. Testa desde humanidades ate STEM com questoes de multipla escolha, servindo como referencia padrao de capacidade geral.

Perplexity e uma metrica que mede quao bem um modelo de linguagem prevê texto, calculada como a exponencial da entropia cruzada media. Menor perplexity indica melhor modelagem da linguagem. Usada para avaliar e comparar modelos de linguagem.

Precisao (Precision) e a metrica que mede a proporcao de previsoes positivas que estao corretas. E crucial quando o custo de falsos positivos e alto, como em deteccao de spam ou diagnosticos medicos.

Recall (Sensibilidade) e a metrica que mede a proporcao de positivos reais que foram corretamente identificados pelo modelo. E crucial quando o custo de falsos negativos e alto, como em deteccao de doencas.

Reward Model e um modelo treinado para avaliar e pontuar respostas de LLMs com base em preferencias humanas. Serve como proxy de julgamento humano no pipeline de RLHF, guiando a otimizacao do modelo de linguagem principal.

Risk Assessment de IA e o processo de identificar, avaliar e priorizar riscos associados a sistemas de inteligencia artificial. Analisa riscos tecnicos, eticos, legais e operacionais para determinar controles necessarios antes e durante a operacao.

A Curva ROC (Receiver Operating Characteristic) e um grafico que mostra o desempenho de um classificador binario em diferentes limiares de decisao, plotando a taxa de verdadeiros positivos contra falsos positivos.

ROUGE Score e uma familia de metricas para avaliar sumarizacao automatica comparando o resumo gerado com resumos de referencia. Mede recall de n-grams (ROUGE-N), subsequencias comuns (ROUGE-L) e sobreposicao de skip-bigrams (ROUGE-S).

Self-Critique e a capacidade de um LLM avaliar e corrigir suas proprias respostas identificando erros factuais, logicos ou de raciocinio. Usado em pipelines de IA para melhorar qualidade sem feedback humano, complementando tecnicas como reflection e constitutional AI.