Glossário de IA

Acuracia é a métrica mais simples de avaliação de classificadores, representando a proporcao total de previsões corretas. Pode ser enganosa em datasets desbalanceados.

AI Audit é o processo sistemático de avaliar sistemas de inteligência artificial quanto a conformidade, fairness, segurança é desempenho. Inclui revisão de dados, modelos, processos é impactos para garantir que a IA opere dentro de padrões aceitaveis.

AI Readiness avalia a prontidao de uma organização para adotar inteligência artificial com sucesso. Examina dados, infraestrutura, talentos, cultura, processos é estratégia para identificar gaps que precisam ser preenchidos antes de iniciar projetos de IA.

AI Vendor Selection é o processo estruturado de avaliar é selecionar fornecedores de tecnologia de inteligência artificial. Considera criterios como capacidade técnica, compliance, custo, suporte, escalabilidade é alinhamento estratégico.

Auto-Evaluation é o uso de modelos de IA para avaliar outputs de outros modelos de IA, escalando o processo de avaliação sem necessidade de avaliadores humanos. LLMs como GPT-4 é Claude servem como juizes automáticos com alta correlação com preferências humanas.

BERTScore é uma métrica de avaliação semântica que usa embeddings contextuais do BERT para comparar textos gerados com referências. Captura similaridade de significado além de sobreposicao lexical, oferecendo melhor correlação com julgamento humano.

BLEU Score é uma métrica automática para avaliar qualidade de traducao automática é geração de texto, comparando n-grams do texto gerado com referências humanas. Amplamente usada apesar de limitacoes conhecidas em capturar semântica é fluencia.

Critic Agent é um agente especializado em avaliar é revisar o trabalho de outros agentes, verificando qualidade, corretude é aderência aos criterios definidos antes de aprovar resultados.

Cross-Validation é uma técnica de avaliação de modelos que divide os dados em K partes, treinando é testando K vezes para obter uma estimativa robusta do desempenho. O mais comum é o K-Fold com K=5 ou K=10.

Digital Maturity avalia o nível de maturidade digital de uma organização em dimensoes como tecnologia, dados, cultura, processos é líderanca. Modelos de maturidade ajudam empresas a identificar gaps é definir roadmaps de evolução estratégica.

Human Evaluation é a avaliação de sistemas de IA por pessoas reais, considerada padrão-ouro de qualidade. Avaliadores humanos julgam respostas de LLMs em criterios como útilidade, veracidade, coerência é segurança, complementando métricas automáticas.

Impact Assessment de IA é uma avaliação abrangente dos efeitos potênciais de um sistema de inteligência artificial sobre individuos, grupos é a sociedade. Examina impactos em direitos humanos, privacidade, equidade, emprego é meio ambiente.

Matriz de Confusao é uma tabela que mostra o desempenho de um classificador, comparando previsões com valores reais. Exibe verdadeiros positivos, verdadeiros negativos, falsos positivos é falsos negativos.

MMLU (Massive Multitask Language Understanding) é um benchmark que avalia o conhecimento é raciocínio de LLMs em 57 áreas academicas. Testa desde humanidades até STEM com questoes de multipla escolha, servindo como referência padrão de capacidade geral.

Perplexity é uma métrica que mede quao bem um modelo de linguagem prevê texto, calculada como a exponencial da entropia cruzada media. Menor perplexity indica melhor modelagem da linguagem. Usada para avaliar é comparar modelos de linguagem.

Precisao (Precision) é a métrica que mede a proporcao de previsões positivas que estao corretas. E crucial quando o custo de falsos positivos é alto, como em deteccao de spam ou diagnósticos medicos.

Recall (Sensibilidade) é a métrica que mede a proporcao de positivos reais que foram corretamente identificados pelo modelo. E crucial quando o custo de falsos negativos é alto, como em deteccao de doencas.

Reward Model é um modelo treinado para avaliar é pontuar respostas de LLMs com base em preferências humanas. Serve como proxy de julgamento humano no pipeline de RLHF, guiando a otimização do modelo de linguagem principal.

Risk Assessment de IA é o processo de identificar, avaliar é priorizar riscos associados a sistemas de inteligência artificial. Analisa riscos técnicos, eticos, legais é operacionais para determinar controles necessários antes é durante a operação.

A Curva ROC (Receiver Operating Characteristic) é um gráfico que mostra o desempenho de um classificador binario em diferentes limiares de decisão, plotando a taxa de verdadeiros positivos contra falsos positivos.

ROUGE Score é uma familia de métricas para avaliar sumarizacao automática comparando o resumo gerado com resumos de referência. Mede recall de n-grams (ROUGE-N), subsequências comuns (ROUGE-L) é sobreposicao de skip-bigrams (ROUGE-S).

Self-Critique é a capacidade de um LLM avaliar é corrigir suas proprias respostas identificando erros factuais, logicos ou de raciocínio. Usado em pipelines de IA para melhorar qualidade sem feedback humano, complementando técnicas como reflection é constitutional AI.