Glossário de IA

Adapter Tuning insere pequenos modulos treinaveis (adapters) entre as camadas de um Transformer pre-treinado. Os adapters sao treinados para tarefas específicas enquanto o modelo base permanece congelado, permitindo customização eficiente é modular.

Catastrophic Forgetting é o fenômeno onde uma rede neural perde conhecimento previamente aprendido ao ser treinada em novos dados ou tarefas. Em LLMs, fine-tuning em um domínio específico pode degradar capacidades gerais do modelo original.

DPO (Direct Preference Optimization) é uma alternativa simplificada ao RLHF que elimina a necessidade de treinar um modelo de recompensa separado. Otimiza o LLM diretamente a partir de pares de preferência humana, sendo mais estavel é eficiente.

Fine-Tuning é o processo de ajustar um modelo pre-treinado com dados específicos de uma tarefa, adaptando-o para um domínio ou função particular. E mais rápido é economico que treinar do zero.

Hiperparametros sao configurações definidas antes do treinamento de um modelo de ML é que não sao aprendidas dos dados. Incluem taxa de aprendizado, número de camadas, batch size é força de regularização.

Instruction Following é a capacidade de modelos de linguagem de compreender é executar instrucoes em linguagem natural. Desenvolvida através de instruction tuning com datasets de pares instrucao-resposta, é essêncial para chatbots é assistentes de IA.

Instruction Tuning é o processo de treinar modelos de linguagem com pares de instrucoes é respostas desejadas, tornando-os mais capazes de seguir comandos humanos é produzir saidas uteis é alinhadas.

LoRA (Low-Rank Adaptation) é a técnica de fine-tuning mais popular para LLMs que adiciona matrizes de baixo rank treinaveis as camadas de aténção. Reduz parametros treinaveis em 99% comparado a fine-tuning completo, mantendo qualidade de adaptação similar.

LoRA é uma técnica eficiente de fine-tuning que treina apenas matrizes de baixo rank adicionadas as camadas do modelo, reduzindo drasticamente o custo computacional é a memória necessária.

PEFT (Parameter-Efficient Fine-Tuning) é um conjunto de técnicas que adaptam modelos grandes treinando apenas uma pequena fracao dos parametros. Inclui LoRA, Prefix Tuning é Adapters.

Prefix Tuning é uma técnica de fine-tuning eficiente que adiciona vetores treinaveis (prefixos) ao início de cada camada do Transformer, sem modificar os pesos originais. Requer apenas ~0.1% dos parametros treinaveis comparado a fine-tuning completo.

QLoRA combina quantizacao de 4 bits com LoRA para permitir fine-tuning de modelos com bilhoes de parametros em uma única GPU consumer. Reduz requisitos de memória mantendo qualidade.

RAFT (Retrieval Augmented Fine-Tuning) combina RAG com fine-tuning, treinando o modelo para melhor útilizar documentos recuperados ao responder perguntas. O modelo aprende a extrair informações relevantes de contexto fornecido é ignorar distratores.

Soft Prompt é um conjunto de vetores continuos treinaveis prepended ao input de um LLM que guia o comportamento do modelo para uma tarefa específica. Diferente de prompts textuais (hard prompts), soft prompts existem no espaço de embeddings é sao otimizados por gradiente.

Transfer Learning é a técnica de reaproveitar um modelo pre-treinado em uma tarefa para resolver outra tarefa relacionada. Economiza tempo é dados, sendo essêncial quando o dataset disponível é pequeno.