Prefix Tuning
Categoria
Termos Tecnicos Avancados
Prefix Tuning e uma tecnica de fine-tuning eficiente que adiciona vetores treinaveis (prefixos) ao inicio de cada camada do Transformer, sem modificar os pesos originais. Requer apenas ~0.1% dos parametros treinaveis comparado a fine-tuning completo.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e Prefix Tuning
Prefix Tuning e uma tecnica de parameter-efficient fine-tuning (PEFT) que adiciona vetores continuos treinaveis como prefixo nas camadas de atencao do Transformer, adaptando o modelo sem alterar seus pesos originais.
Como funciona:
- Adiciona sequencia de vetores treinaveis como prefixo em keys e values
- Pesos originais do modelo ficam congelados
- Apenas os vetores de prefixo sao otimizados
- Cada tarefa pode ter seu proprio conjunto de prefixos
Vantagens:
- Treina apenas ~0.1% dos parametros do modelo
- Multiplas tarefas compartilham o mesmo modelo base
- Troca de tarefa requer apenas trocar prefixos
- Menor custo de armazenamento e treinamento
A Trilion utiliza Prefix Tuning e tecnicas PEFT similares para customizar modelos de linguagem para clientes de forma eficiente, mantendo custos de treinamento baixos sem sacrificar qualidade de adaptacao.
