Catastrophic Forgetting

Categoria
Termos Técnicos Avançados
Catastrophic Forgetting é quando uma rede neural, ao aprender uma tarefa nova, perde parte do que sabia antes, um risco comum no fine-tuning de modelos de IA.
Categoria
Termos Técnicos Avançados
Compartilhar
LinkedInWhatsApp

O que é Catastrophic Forgetting?

Catastrophic Forgetting, ou esquecimento catastrófico, é o fenômeno em que uma rede neural treinada em uma tarefa nova perde, de forma brusca, o desempenho que tinha em tarefas aprendidas antes. O modelo não apenas deixa de melhorar no que já sabia: ele piora, às vezes muito, porque os mesmos pesos que guardavam o conhecimento antigo foram reajustados para atender ao novo objetivo.

O problema é estudado há décadas em pesquisa de redes neurais, mas ganhou relevância prática com os grandes modelos de linguagem. Empresas que fazem fine-tuning de um LLM para um domínio específico, como jurídico ou atendimento, às vezes descobrem que o modelo ficou ótimo no novo assunto e pior em tarefas gerais, como seguir instruções, raciocinar ou escrever em outro idioma.

Como o esquecimento catastrófico acontece

Uma rede neural guarda o que aprendeu em milhões ou bilhões de parâmetros compartilhados. Durante o treino, o algoritmo ajusta esses parâmetros para reduzir o erro nos dados que está vendo naquele momento. Se os novos dados forem muito diferentes dos anteriores e o treino não tiver nenhum mecanismo de proteção, o otimizador move os pesos na direção que favorece só a tarefa atual, sem considerar o que eles representavam antes.

Pessoas aprendem de outra forma: novas memórias se acomodam sem apagar as antigas. Redes neurais tradicionais não têm esse equilíbrio por padrão, e por isso o esquecimento aparece com mais força quando:

  • o novo conjunto de dados é estreito e muito diferente do treino original;
  • a taxa de aprendizado é alta ou o treino dura muitas épocas;
  • todos os pesos do modelo são atualizados, em vez de uma parte;
  • nenhum exemplo das tarefas antigas é incluído no novo treino.

Técnicas para reduzir o problema

  • Experience replay: misturar ao novo treino uma amostra dos dados antigos ou de dados gerais, para que o modelo continue praticando o que já sabia.
  • Regularização: métodos como Elastic Weight Consolidation penalizam mudanças nos pesos mais importantes para as tarefas anteriores.
  • Ajuste eficiente de parâmetros: técnicas de PEFT, como LoRA e adapters, congelam os pesos originais e treinam apenas pequenos módulos adicionais, preservando a base.
  • Treino conservador: taxas de aprendizado menores, menos épocas e parada antecipada quando métricas gerais começam a cair.
  • Arquiteturas separadas: manter modelos ou adaptadores diferentes por tarefa e escolher qual usar no momento da inferência.

Onde isso aparece nas empresas

  • Escritórios de advocacia: um modelo ajustado com petições passa a redigir bem peças jurídicas, mas perde qualidade ao resumir e-mails ou responder perguntas simples.
  • Atendimento multilíngue: um assistente treinado com conversas em português começa a responder pior em espanhol, idioma que dominava antes.
  • Indústria: um modelo de visão computacional retreinado para um novo produto da linha deixa de reconhecer defeitos em produtos antigos que ainda são fabricados.
  • Detecção de fraude: ao atualizar o modelo com padrões recentes, a equipe percebe que ele deixou de identificar golpes antigos que voltaram a aparecer.

Vantagens das boas práticas e cuidados

Controlar o esquecimento catastrófico permite especializar modelos sem perder a versatilidade que os tornou úteis. O custo é algum esforço extra: separar dados de referência, montar uma bateria de testes gerais e acompanhar as métricas antigas a cada novo treino. Esse cuidado é parte do que se chama Continual Learning.

Um ponto que costuma passar despercebido é a avaliação. Se a empresa mede o modelo apenas na nova tarefa, o esquecimento fica invisível até chegar ao usuário. Também vale lembrar que, em muitos casos, o fine-tuning nem é necessário: técnicas como RAG e bons prompts resolvem a especialização sem mexer nos pesos.

Como avaliar o risco no seu projeto

  1. Antes do fine-tuning, registre o desempenho do modelo base em um conjunto de tarefas gerais relevantes para o negócio.
  2. Prefira métodos que preservam os pesos originais, como LoRA, quando o objetivo é especializar sem substituir.
  3. Inclua uma parcela de dados gerais no treino e acompanhe as métricas antigas durante todo o processo.
  4. Compare o modelo ajustado com o original nos mesmos testes antes de colocá-lo em produção.
  5. Ao contratar um fornecedor, pergunte como ele mede regressões em capacidades gerais.

Perguntas frequentes sobre Catastrophic Forgetting

Todo fine-tuning causa esquecimento catastrófico?

Não. O risco depende do tamanho e da diversidade dos novos dados, da intensidade do treino e da técnica usada. Ajustes leves, com taxa de aprendizado baixa e métodos como LoRA, costumam preservar bem as capacidades gerais. Ainda assim, só uma avaliação comparativa antes e depois mostra se houve perda relevante.

Como saber se meu modelo sofreu esquecimento catastrófico?

Mantenha um conjunto fixo de testes que cubra tarefas que o modelo fazia bem antes do novo treino, como responder perguntas gerais, seguir formatos ou escrever em outros idiomas. Rode esses testes no modelo original e no ajustado. Quedas fortes nessas métricas, mesmo com melhora na tarefa nova, indicam esquecimento.

RAG evita o esquecimento catastrófico?

Sim, no sentido de que o RAG não altera os pesos do modelo: ele apenas fornece documentos relevantes no momento da pergunta. Por isso, não há esquecimento. A troca é que o conhecimento fica na base de documentos, e não no modelo, o que exige uma boa estratégia de busca e de atualização desse acervo.

Termos relacionados

Se a sua empresa avalia especializar um modelo de linguagem, a consultoria de IA da Trilion ajuda a comparar fine-tuning, RAG e outras abordagens e a montar testes que revelem regressões antes do uso em produção.

Glossário...

Acreditamos que a alquimia de Retórica, Criatividade e variadas Habilidades humanas criam resultados incríveis.
WhatsApp
WhatsApp

Converse com a Trilion

Diga-nos o seu nome, e a conversa abre em seguida