Glossário de IA

Adapter Tuning insere pequenos modulos treinaveis (adapters) entre as camadas de um Transformer pre-treinado. Os adapters sao treinados para tarefas especificas enquanto o modelo base permanece congelado, permitindo customizacao eficiente e modular.

Arena ELO e o sistema de classificacao do Chatbot Arena que usa o rating ELO (originario do xadrez) para ranquear modelos de linguagem com base em preferencias humanas. Usuarios comparam respostas anonimas e os votos geram rankings continuamente atualizados.

Async Inference e o modelo de inferencia assincrona onde requisicoes sao enviadas e processadas em background, com resultados recuperados posteriormente. Ideal para tarefas que nao precisam de resposta imediata, como analise de documentos e processamento em massa.

Audio-Language Model e um modelo multimodal que processa audio e texto simultaneamente, capaz de transcrever fala, entender conteudo de audio, gerar fala e responder perguntas sobre sons. Inclui modelos como Whisper, AudioPaLM e GPT-4o com audio.

Auto-Evaluation e o uso de modelos de IA para avaliar outputs de outros modelos de IA, escalando o processo de avaliacao sem necessidade de avaliadores humanos. LLMs como GPT-4 e Claude servem como juizes automaticos com alta correlacao com preferencias humanas.

Batch Processing em IA e o processamento de multiplas requisicoes de inferencia agrupadas em lotes em vez de individualmente. Maximiza uso de GPU, reduz custo por inferencia e aumenta throughput total, ideal para processamento de grandes volumes offline.

Beam Search e um algoritmo de decodificacao que explora multiplas sequencias candidatas simultaneamente, mantendo as K mais provaveis a cada passo. Encontra sequencias de maior probabilidade global, sendo usado em traducao, sumarizacao e geracao estruturada.

BERTScore e uma metrica de avaliacao semantica que usa embeddings contextuais do BERT para comparar textos gerados com referencias. Captura similaridade de significado alem de sobreposicao lexical, oferecendo melhor correlacao com julgamento humano.

BLEU Score e uma metrica automatica para avaliar qualidade de traducao automatica e geracao de texto, comparando n-grams do texto gerado com referencias humanas. Amplamente usada apesar de limitacoes conhecidas em capturar semantica e fluencia.

Catastrophic Forgetting e o fenomeno onde uma rede neural perde conhecimento previamente aprendido ao ser treinada em novos dados ou tarefas. Em LLMs, fine-tuning em um dominio especifico pode degradar capacidades gerais do modelo original.

Chain-of-Thought (CoT) e uma tecnica de prompting que faz LLMs raciocinarem passo a passo antes de dar a resposta final. Melhora dramaticamente performance em tarefas de raciocinio matematico, logico e multi-step ao explicitar o processo de pensamento.

Chatbot Arena e uma plataforma da LMSYS que permite comparar modelos de linguagem em batalhas anonimas lado a lado. Usuarios avaliam respostas sem saber quais modelos estao competindo, gerando o ranking mais confiavel de LLMs da industria.

Chinchilla Scaling refere-se a lei de escala otima proposta pelo artigo Chinchilla (DeepMind) que demonstrou que modelos devem ser treinados com muito mais dados do que a pratica anterior. Para cada dobro de parametros, dados tambem devem dobrar.

CLIP Score e uma metrica que usa o modelo CLIP para avaliar alinhamento entre texto e imagem. Mede quao bem uma imagem corresponde a uma descricao textual, sendo amplamente usado para avaliar qualidade de geracao texto-para-imagem.

Context Window Scaling refere-se as tecnicas para expandir a janela de contexto de LLMs alem do tamanho de treinamento original. Metodos como RoPE scaling, YaRN e ALiBi permitem modelos processarem documentos com centenas de milhares de tokens.

Continual Learning (Aprendizado Continuo) e a capacidade de modelos de IA aprenderem continuamente com novos dados e tarefas sem esquecer conhecimento anterior. Fundamental para sistemas de IA que precisam se adaptar a mudancas no mundo real ao longo do tempo.

Cross-Modal refere-se a interacao e transferencia de informacao entre diferentes modalidades de dados em modelos de IA. Inclui alinhamento de representacoes entre texto-imagem, busca cross-modal e geracao que cruza fronteiras entre modalidades.

DPO (Direct Preference Optimization) e uma alternativa simplificada ao RLHF que elimina a necessidade de treinar um modelo de recompensa separado. Otimiza o LLM diretamente a partir de pares de preferencia humana, sendo mais estavel e eficiente.

Emergent Abilities sao capacidades que surgem espontaneamente em modelos de IA quando atingem determinada escala, sem terem sido explicitamente treinados para elas. Incluem raciocinio matematico, chain-of-thought e compreensao de tarefas complexas.

FID (Frechet Inception Distance) e uma metrica para avaliar qualidade de imagens geradas por IA, comparando a distribuicao estatistica das imagens geradas com imagens reais. Menor FID indica imagens mais realistas e diversas.

Flash Attention e uma implementacao otimizada do mecanismo de atencao que reduz acesso a memoria GPU usando tiling e recomputacao. Acelera treinamento e inferencia de Transformers em 2-4x com menor consumo de memoria sem alterar o resultado matematico.

Goodhart Law aplicada a IA afirma que quando uma metrica se torna alvo de otimizacao, ela deixa de ser uma boa metrica. Em IA, modelos otimizados diretamente em metricas proxy como BLEU ou reward score podem produzir resultados que pontuam alto mas sao qualitativamente ruins.

Graph-of-Thought (GoT) generaliza Tree-of-Thought para uma estrutura de grafo onde pensamentos podem se conectar de formas nao-hierarquicas. Permite combinar, refinar e cruzar ideias de diferentes ramos de raciocinio para resolver problemas complexos.

Greedy Decoding e a estrategia de geracao mais simples onde o modelo sempre seleciona o token com maior probabilidade a cada passo. Rapido e deterministico, mas pode produzir texto repetitivo e perder sequencias globalmente melhores.

GRPO (Group Relative Policy Optimization) e uma tecnica de alinhamento de LLMs que usa comparacao de grupos de respostas em vez de reward model individual. Desenvolvida pela DeepSeek, oferece alinhamento eficiente sem modelo de recompensa separado.

Hard Prompt e o texto em linguagem natural fornecido como instrucao a um LLM para guiar sua geracao. Inclui system prompts, instrucoes, exemplos e restricoes escritos por humanos, sendo a forma mais comum e acessivel de controlar comportamento de modelos.

HellaSwag e um benchmark de compreensao de linguagem natural que testa a habilidade de modelos em completar cenarios de forma plausivel. Usa exemplos gerados adversarialmente que sao faceis para humanos mas desafiadores para modelos de IA.

Human Evaluation e a avaliacao de sistemas de IA por pessoas reais, considerada padrao-ouro de qualidade. Avaliadores humanos julgam respostas de LLMs em criterios como utilidade, veracidade, coerencia e seguranca, complementando metricas automaticas.

HumanEval e um benchmark que avalia a capacidade de modelos de IA em gerar codigo funcional a partir de descricoes em linguagem natural. Contem 164 problemas de programacao Python com testes unitarios para verificacao automatica de corretude.

Inception Score (IS) avalia qualidade e diversidade de imagens geradas por IA usando a rede Inception. Score alto indica imagens que sao individualmente claras e reconheciveis (qualidade) enquanto o conjunto cobre variedade de classes (diversidade).