Adapter Tuning
Categoria
Termos Tecnicos Avancados
Adapter Tuning insere pequenos modulos treinaveis (adapters) entre as camadas de um Transformer pre-treinado. Os adapters sao treinados para tarefas especificas enquanto o modelo base permanece congelado, permitindo customizacao eficiente e modular.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e Adapter Tuning
Adapter Tuning e uma tecnica de fine-tuning eficiente que insere pequenos modulos neurais treinaveis (adapters) entre as camadas de um modelo Transformer pre-treinado, adaptando-o a tarefas especificas sem modificar os pesos originais.
Arquitetura:
- Adapter: tipicamente down-projection non-linearity up-projection
- Inserido apos cada sub-camada (attention e FFN)
- Residual connection: saida do adapter somada a entrada
- Bottleneck dimension controla tamanho/capacidade
Vantagens:
- Treina 1-5% dos parametros totais
- Modular: diferentes adapters para diferentes tarefas
- Compartilha modelo base, reduzindo uso de memoria
- Combina bem com outras tecnicas PEFT
A Trilion implementa adapter tuning para criar especializacoes eficientes de modelos base, permitindo que um unico modelo sirva multiplas tarefas de clientes com adapters modulares e intercambiaveis.
