Glossário de IA

Catastrophic Forgetting e o fenomeno onde uma rede neural perde conhecimento previamente aprendido ao ser treinada em novos dados ou tarefas. Em LLMs, fine-tuning em um dominio especifico pode degradar capacidades gerais do modelo original.

DPO (Direct Preference Optimization) e uma alternativa simplificada ao RLHF que elimina a necessidade de treinar um modelo de recompensa separado. Otimiza o LLM diretamente a partir de pares de preferencia humana, sendo mais estavel e eficiente.

Instruction Tuning e o processo de treinar modelos de linguagem com pares de instrucoes e respostas desejadas, tornando-os mais capazes de seguir comandos humanos e produzir saidas uteis e alinhadas.

LoRA (Low-Rank Adaptation) e a tecnica de fine-tuning mais popular para LLMs que adiciona matrizes de baixo rank treinaveis as camadas de atencao. Reduz parametros treinaveis em 99% comparado a fine-tuning completo, mantendo qualidade de adaptacao similar.

RAFT (Retrieval Augmented Fine-Tuning) combina RAG com fine-tuning, treinando o modelo para melhor utilizar documentos recuperados ao responder perguntas. O modelo aprende a extrair informacoes relevantes de contexto fornecido e ignorar distratores.