Catastrophic Forgetting
O que é Catastrophic Forgetting?
Catastrophic Forgetting, ou esquecimento catastrófico, é o fenômeno em que uma rede neural treinada em uma tarefa nova perde, de forma brusca, o desempenho que tinha em tarefas aprendidas antes. O modelo não apenas deixa de melhorar no que já sabia: ele piora, às vezes muito, porque os mesmos pesos que guardavam o conhecimento antigo foram reajustados para atender ao novo objetivo.
O problema é estudado há décadas em pesquisa de redes neurais, mas ganhou relevância prática com os grandes modelos de linguagem. Empresas que fazem fine-tuning de um LLM para um domínio específico, como jurídico ou atendimento, às vezes descobrem que o modelo ficou ótimo no novo assunto e pior em tarefas gerais, como seguir instruções, raciocinar ou escrever em outro idioma.
Como o esquecimento catastrófico acontece
Uma rede neural guarda o que aprendeu em milhões ou bilhões de parâmetros compartilhados. Durante o treino, o algoritmo ajusta esses parâmetros para reduzir o erro nos dados que está vendo naquele momento. Se os novos dados forem muito diferentes dos anteriores e o treino não tiver nenhum mecanismo de proteção, o otimizador move os pesos na direção que favorece só a tarefa atual, sem considerar o que eles representavam antes.
Pessoas aprendem de outra forma: novas memórias se acomodam sem apagar as antigas. Redes neurais tradicionais não têm esse equilíbrio por padrão, e por isso o esquecimento aparece com mais força quando:
- o novo conjunto de dados é estreito e muito diferente do treino original;
- a taxa de aprendizado é alta ou o treino dura muitas épocas;
- todos os pesos do modelo são atualizados, em vez de uma parte;
- nenhum exemplo das tarefas antigas é incluído no novo treino.
Técnicas para reduzir o problema
- Experience replay: misturar ao novo treino uma amostra dos dados antigos ou de dados gerais, para que o modelo continue praticando o que já sabia.
- Regularização: métodos como Elastic Weight Consolidation penalizam mudanças nos pesos mais importantes para as tarefas anteriores.
- Ajuste eficiente de parâmetros: técnicas de PEFT, como LoRA e adapters, congelam os pesos originais e treinam apenas pequenos módulos adicionais, preservando a base.
- Treino conservador: taxas de aprendizado menores, menos épocas e parada antecipada quando métricas gerais começam a cair.
- Arquiteturas separadas: manter modelos ou adaptadores diferentes por tarefa e escolher qual usar no momento da inferência.
Onde isso aparece nas empresas
- Escritórios de advocacia: um modelo ajustado com petições passa a redigir bem peças jurídicas, mas perde qualidade ao resumir e-mails ou responder perguntas simples.
- Atendimento multilíngue: um assistente treinado com conversas em português começa a responder pior em espanhol, idioma que dominava antes.
- Indústria: um modelo de visão computacional retreinado para um novo produto da linha deixa de reconhecer defeitos em produtos antigos que ainda são fabricados.
- Detecção de fraude: ao atualizar o modelo com padrões recentes, a equipe percebe que ele deixou de identificar golpes antigos que voltaram a aparecer.
Vantagens das boas práticas e cuidados
Controlar o esquecimento catastrófico permite especializar modelos sem perder a versatilidade que os tornou úteis. O custo é algum esforço extra: separar dados de referência, montar uma bateria de testes gerais e acompanhar as métricas antigas a cada novo treino. Esse cuidado é parte do que se chama Continual Learning.
Um ponto que costuma passar despercebido é a avaliação. Se a empresa mede o modelo apenas na nova tarefa, o esquecimento fica invisível até chegar ao usuário. Também vale lembrar que, em muitos casos, o fine-tuning nem é necessário: técnicas como RAG e bons prompts resolvem a especialização sem mexer nos pesos.
Como avaliar o risco no seu projeto
- Antes do fine-tuning, registre o desempenho do modelo base em um conjunto de tarefas gerais relevantes para o negócio.
- Prefira métodos que preservam os pesos originais, como LoRA, quando o objetivo é especializar sem substituir.
- Inclua uma parcela de dados gerais no treino e acompanhe as métricas antigas durante todo o processo.
- Compare o modelo ajustado com o original nos mesmos testes antes de colocá-lo em produção.
- Ao contratar um fornecedor, pergunte como ele mede regressões em capacidades gerais.
Perguntas frequentes sobre Catastrophic Forgetting
Todo fine-tuning causa esquecimento catastrófico?
Não. O risco depende do tamanho e da diversidade dos novos dados, da intensidade do treino e da técnica usada. Ajustes leves, com taxa de aprendizado baixa e métodos como LoRA, costumam preservar bem as capacidades gerais. Ainda assim, só uma avaliação comparativa antes e depois mostra se houve perda relevante.
Como saber se meu modelo sofreu esquecimento catastrófico?
Mantenha um conjunto fixo de testes que cubra tarefas que o modelo fazia bem antes do novo treino, como responder perguntas gerais, seguir formatos ou escrever em outros idiomas. Rode esses testes no modelo original e no ajustado. Quedas fortes nessas métricas, mesmo com melhora na tarefa nova, indicam esquecimento.
RAG evita o esquecimento catastrófico?
Sim, no sentido de que o RAG não altera os pesos do modelo: ele apenas fornece documentos relevantes no momento da pergunta. Por isso, não há esquecimento. A troca é que o conhecimento fica na base de documentos, e não no modelo, o que exige uma boa estratégia de busca e de atualização desse acervo.
Termos relacionados
Se a sua empresa avalia especializar um modelo de linguagem, a consultoria de IA da Trilion ajuda a comparar fine-tuning, RAG e outras abordagens e a montar testes que revelem regressões antes do uso em produção.
