Glossário de IA

Adapter Tuning insere pequenos modulos treinaveis (adapters) entre as camadas de um Transformer pre-treinado. Os adapters sao treinados para tarefas especificas enquanto o modelo base permanece congelado, permitindo customizacao eficiente e modular.

Catastrophic Forgetting e o fenomeno onde uma rede neural perde conhecimento previamente aprendido ao ser treinada em novos dados ou tarefas. Em LLMs, fine-tuning em um dominio especifico pode degradar capacidades gerais do modelo original.

DPO (Direct Preference Optimization) e uma alternativa simplificada ao RLHF que elimina a necessidade de treinar um modelo de recompensa separado. Otimiza o LLM diretamente a partir de pares de preferencia humana, sendo mais estavel e eficiente.

Fine-Tuning e o processo de ajustar um modelo pre-treinado com dados especificos de uma tarefa, adaptando-o para um dominio ou funcao particular. E mais rapido e economico que treinar do zero.

Hiperparametros sao configuracoes definidas antes do treinamento de um modelo de ML e que nao sao aprendidas dos dados. Incluem taxa de aprendizado, numero de camadas, batch size e forca de regularizacao.

Instruction Following e a capacidade de modelos de linguagem de compreender e executar instrucoes em linguagem natural. Desenvolvida atraves de instruction tuning com datasets de pares instrucao-resposta, e essencial para chatbots e assistentes de IA.

Instruction Tuning e o processo de treinar modelos de linguagem com pares de instrucoes e respostas desejadas, tornando-os mais capazes de seguir comandos humanos e produzir saidas uteis e alinhadas.

LoRA (Low-Rank Adaptation) e a tecnica de fine-tuning mais popular para LLMs que adiciona matrizes de baixo rank treinaveis as camadas de atencao. Reduz parametros treinaveis em 99% comparado a fine-tuning completo, mantendo qualidade de adaptacao similar.

LoRA e uma tecnica eficiente de fine-tuning que treina apenas matrizes de baixo rank adicionadas as camadas do modelo, reduzindo drasticamente o custo computacional e a memoria necessaria.

PEFT (Parameter-Efficient Fine-Tuning) e um conjunto de tecnicas que adaptam modelos grandes treinando apenas uma pequena fracao dos parametros. Inclui LoRA, Prefix Tuning e Adapters.

Prefix Tuning e uma tecnica de fine-tuning eficiente que adiciona vetores treinaveis (prefixos) ao inicio de cada camada do Transformer, sem modificar os pesos originais. Requer apenas ~0.1% dos parametros treinaveis comparado a fine-tuning completo.

QLoRA combina quantizacao de 4 bits com LoRA para permitir fine-tuning de modelos com bilhoes de parametros em uma unica GPU consumer. Reduz requisitos de memoria mantendo qualidade.

RAFT (Retrieval Augmented Fine-Tuning) combina RAG com fine-tuning, treinando o modelo para melhor utilizar documentos recuperados ao responder perguntas. O modelo aprende a extrair informacoes relevantes de contexto fornecido e ignorar distratores.

Soft Prompt e um conjunto de vetores continuos treinaveis prepended ao input de um LLM que guia o comportamento do modelo para uma tarefa especifica. Diferente de prompts textuais (hard prompts), soft prompts existem no espaco de embeddings e sao otimizados por gradiente.

Transfer Learning e a tecnica de reaproveitar um modelo pre-treinado em uma tarefa para resolver outra tarefa relacionada. Economiza tempo e dados, sendo essencial quando o dataset disponivel e pequeno.