Adapter Tuning
Categoria
Termos Tecnicos Avancados
Adapter Tuning insere pequenos modulos treinaveis (adapters) entre as camadas de um Transformer pre-treinado. Os adapters sao treinados para tarefas específicas enquanto o modelo base permanece congelado, permitindo customização eficiente é modular.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que é Adapter Tuning
Adapter Tuning é uma técnica de fine-tuning eficiente que insere pequenos modulos neurais treinaveis (adapters) entre as camadas de um modelo Transformer pre-treinado, adaptando-o a tarefas específicas sem modificar os pesos originais.
Arquitetura:
- Adapter: tipicamente down-projection non-linearity up-projection
- Inserido apos cada sub-camada (attention é FFN)
- Residual connection: saida do adapter somada a entrada
- Bottleneck dimension controla tamanho/capacidade
Vantagens:
- Treina 1-5% dos parametros totais
- Modular: diferentes adapters para diferentes tarefas
- Compartilha modelo base, reduzindo uso de memória
- Combina bem com outras técnicas PEFT
A Trilion implementa adapter tuning para criar especializacoes eficientes de modelos base, permitindo que um único modelo sirva multiplas tarefas de clientes com adapters modulares é intercambiaveis.
