Glossário de IA

Instruction Following e a capacidade de modelos de linguagem de compreender e executar instrucoes em linguagem natural. Desenvolvida atraves de instruction tuning com datasets de pares instrucao-resposta, e essencial para chatbots e assistentes de IA.

JSON Mode e uma funcionalidade de APIs de LLM que garante que o modelo sempre retorne respostas em formato JSON valido. Simplifica integracao com sistemas de software ao eliminar necessidade de parsing complexo de texto livre.

KV Cache (Key-Value Cache) e uma tecnica de otimizacao de inferencia em Transformers que armazena os vetores Key e Value ja computados para evitar recalculo a cada novo token gerado. Essencial para inferencia rapida mas consome memoria significativa.

Leaderboard em IA e um ranking publico que compara performance de modelos em benchmarks padronizados. Plataformas como Hugging Face Open LLM Leaderboard e Papers With Code hospedam rankings que orientam a comunidade sobre o estado da arte.

LoRA (Low-Rank Adaptation) e a tecnica de fine-tuning mais popular para LLMs que adiciona matrizes de baixo rank treinaveis as camadas de atencao. Reduz parametros treinaveis em 99% comparado a fine-tuning completo, mantendo qualidade de adaptacao similar.

Mixture of Experts (MoE) e uma arquitetura onde o modelo contem multiplos sub-modelos especializados (experts) e um roteador que seleciona quais ativar para cada input. Permite escalar parametros totais sem aumentar proporcionalmente o custo de inferencia.

MMLU (Massive Multitask Language Understanding) e um benchmark que avalia o conhecimento e raciocinio de LLMs em 57 areas academicas. Testa desde humanidades ate STEM com questoes de multipla escolha, servindo como referencia padrao de capacidade geral.

Model Merging e a tecnica de combinar pesos de multiplos modelos fine-tunados em um unico modelo sem treinamento adicional. Metodos como TIES, DARE e SLERP permitem fundir capacidades de diferentes modelos especializados em um modelo unificado.

Model Soup e a tecnica de combinar multiplos checkpoints ou variantes de fine-tuning do mesmo modelo base em um unico modelo atraves de media de pesos. Melhora robustez e generalizacao sem custo computacional adicional em inferencia.

Multi-Modal Learning e a area de IA que trabalha com multiplas modalidades de dados como texto, imagem, audio e video simultaneamente. Modelos multimodais como GPT-4V e Gemini entendem e geram conteudo combinando diferentes tipos de informacao.

Multi-Task Learning treina um unico modelo para executar multiplas tarefas simultaneamente, compartilhando representacoes entre elas. Melhora generalizacao e eficiencia ao transferir conhecimento entre tarefas relacionadas como classificacao e NER.

Multimodal Embedding e a representacao vetorial unificada de dados de diferentes modalidades (texto, imagem, audio) no mesmo espaco geometrico. Permite busca e comparacao cross-modal, onde textos e imagens similares ficam proximos no espaco vetorial.

Needle in Haystack e um teste que avalia se um LLM consegue encontrar e recuperar uma informacao especifica (agulha) escondida em um contexto longo (palheiro). Mede a eficacia real da janela de contexto do modelo em diferentes posicoes e comprimentos.

Nucleus Sampling (top-p) e uma estrategia de amostragem que seleciona tokens do menor conjunto cuja probabilidade acumulada excede um limiar p. Equilibra diversidade e coerencia na geracao de texto, sendo preferida para conversacao e escrita criativa.

Perplexity e uma metrica que mede quao bem um modelo de linguagem prevê texto, calculada como a exponencial da entropia cruzada media. Menor perplexity indica melhor modelagem da linguagem. Usada para avaliar e comparar modelos de linguagem.

PPO (Proximal Policy Optimization) e o algoritmo de aprendizado por reforco mais usado para treinar LLMs via RLHF. Atualiza a politica do modelo de forma conservadora, evitando mudancas drasticas que desestabilizem o treinamento.

Prefix Tuning e uma tecnica de fine-tuning eficiente que adiciona vetores treinaveis (prefixos) ao inicio de cada camada do Transformer, sem modificar os pesos originais. Requer apenas ~0.1% dos parametros treinaveis comparado a fine-tuning completo.

Prompt Template e um modelo reutilizavel de prompt com variaveis que sao preenchidas dinamicamente para cada execucao. Padroniza interacoes com LLMs, garante consistencia de qualidade e facilita manutencao de instrucoes em sistemas de producao.

Quantizacao 4-bit e 8-bit e a tecnica de reduzir a precisao numerica dos pesos de modelos de IA de 32 ou 16 bits para 4 ou 8 bits. Diminui drasticamente o uso de memoria e acelera inferencia, permitindo rodar LLMs grandes em hardware mais acessivel.

RAFT (Retrieval Augmented Fine-Tuning) combina RAG com fine-tuning, treinando o modelo para melhor utilizar documentos recuperados ao responder perguntas. O modelo aprende a extrair informacoes relevantes de contexto fornecido e ignorar distratores.

Reflection em IA e a tecnica onde um LLM revisa e critica sua propria resposta para identifica erros e melhorar a qualidade. O modelo gera uma resposta inicial, analisa criticamente e produz uma versao refinada, melhorando acuracia e raciocinio.

Reward Hacking ocorre quando um modelo de IA encontra formas inesperadas de maximizar sua funcao de recompensa sem realmente cumprir o objetivo desejado. O modelo explora falhas no reward model para obter pontuacoes altas com respostas de baixa qualidade.

Reward Model e um modelo treinado para avaliar e pontuar respostas de LLMs com base em preferencias humanas. Serve como proxy de julgamento humano no pipeline de RLHF, guiando a otimizacao do modelo de linguagem principal.

RLHF (Reinforcement Learning from Human Feedback) e a tecnica de alinhar modelos de linguagem com preferencias humanas usando aprendizado por reforco. Humanos classificam respostas, um modelo de recompensa e treinado e o LLM e otimizado via PPO.

ROUGE Score e uma familia de metricas para avaliar sumarizacao automatica comparando o resumo gerado com resumos de referencia. Mede recall de n-grams (ROUGE-N), subsequencias comuns (ROUGE-L) e sobreposicao de skip-bigrams (ROUGE-S).

Scaling Laws sao relacoes empiricas que descrevem como a performance de modelos de IA melhora previsivelmente com aumento de parametros, dados e compute. Publicadas por Kaplan et al. e refinadas pelo Chinchilla, guiam decisoes de investimento em treinamento.

Schema Validation em IA e a pratica de definir e validar a estrutura exata das respostas de LLMs usando schemas como JSON Schema ou Pydantic. Garante que campos, tipos e restricoes sejam respeitados, aumentando confiabilidade de pipelines de IA.

Self-Critique e a capacidade de um LLM avaliar e corrigir suas proprias respostas identificando erros factuais, logicos ou de raciocinio. Usado em pipelines de IA para melhorar qualidade sem feedback humano, complementando tecnicas como reflection e constitutional AI.

SentencePiece e uma biblioteca de tokenizacao independente de idioma que opera diretamente no texto bruto sem pre-segmentacao. Suporta BPE e Unigram como algoritmos, sendo amplamente usada em modelos multilinguais como T5, Llama e Gemma.

Soft Prompt e um conjunto de vetores continuos treinaveis prepended ao input de um LLM que guia o comportamento do modelo para uma tarefa especifica. Diferente de prompts textuais (hard prompts), soft prompts existem no espaco de embeddings e sao otimizados por gradiente.