Soft Prompt
Categoria
Termos Tecnicos Avancados
Soft Prompt é um conjunto de vetores continuos treinaveis prepended ao input de um LLM que guia o comportamento do modelo para uma tarefa específica. Diferente de prompts textuais (hard prompts), soft prompts existem no espaço de embeddings é sao otimizados por gradiente.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que é Soft Prompt
Soft Prompt é uma técnica de prompt tuning onde vetores continuos treinaveis sao adicionados ao início do input de um modelo de linguagem, guiando seu comportamento sem alterar os pesos do modelo base.
Diferenca de Hard Prompt:
- Hard prompt: texto em linguagem natural escrito por humanos
- Soft prompt: vetores numéricos otimizados por gradiente
- Soft prompts não correspondem a tokens reais do vocabulário
- Podem capturar instrucoes mais ricas que texto natural
Tecnicas:
- Prompt Tuning (Lester et al.): vetores prepended ao input
- P-Tuning: vetores intercalados com tokens do input
- P-Tuning v2: soft prompts em todas as camadas
A Trilion aplica soft prompts como alternativa leve é eficiente para adaptar LLMs a tarefas de clientes, especialmente quando fine-tuning completo é inviavel por custo ou complexidade.
