Glossário de IA

Catastrophic Forgetting é o fenômeno onde uma rede neural perde conhecimento previamente aprendido ao ser treinada em novos dados ou tarefas. Em LLMs, fine-tuning em um domínio específico pode degradar capacidades gerais do modelo original.

DPO (Direct Preference Optimization) é uma alternativa simplificada ao RLHF que elimina a necessidade de treinar um modelo de recompensa separado. Otimiza o LLM diretamente a partir de pares de preferência humana, sendo mais estavel é eficiente.

Instruction Tuning é o processo de treinar modelos de linguagem com pares de instrucoes é respostas desejadas, tornando-os mais capazes de seguir comandos humanos é produzir saidas uteis é alinhadas.

LoRA (Low-Rank Adaptation) é a técnica de fine-tuning mais popular para LLMs que adiciona matrizes de baixo rank treinaveis as camadas de aténção. Reduz parametros treinaveis em 99% comparado a fine-tuning completo, mantendo qualidade de adaptação similar.

RAFT (Retrieval Augmented Fine-Tuning) combina RAG com fine-tuning, treinando o modelo para melhor útilizar documentos recuperados ao responder perguntas. O modelo aprende a extrair informações relevantes de contexto fornecido é ignorar distratores.