Soft Prompt
Categoria
Termos Tecnicos Avancados
Soft Prompt e um conjunto de vetores continuos treinaveis prepended ao input de um LLM que guia o comportamento do modelo para uma tarefa especifica. Diferente de prompts textuais (hard prompts), soft prompts existem no espaco de embeddings e sao otimizados por gradiente.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e Soft Prompt
Soft Prompt e uma tecnica de prompt tuning onde vetores continuos treinaveis sao adicionados ao inicio do input de um modelo de linguagem, guiando seu comportamento sem alterar os pesos do modelo base.
Diferenca de Hard Prompt:
- Hard prompt: texto em linguagem natural escrito por humanos
- Soft prompt: vetores numericos otimizados por gradiente
- Soft prompts nao correspondem a tokens reais do vocabulario
- Podem capturar instrucoes mais ricas que texto natural
Tecnicas:
- Prompt Tuning (Lester et al.): vetores prepended ao input
- P-Tuning: vetores intercalados com tokens do input
- P-Tuning v2: soft prompts em todas as camadas
A Trilion aplica soft prompts como alternativa leve e eficiente para adaptar LLMs a tarefas de clientes, especialmente quando fine-tuning completo e inviavel por custo ou complexidade.
