Instruction Following
O que é instruction following?
Instruction following é a capacidade de um modelo de linguagem de entender um pedido escrito em linguagem natural e cumpri-lo do jeito solicitado. Não basta responder ao assunto: o modelo precisa respeitar o formato pedido, o tamanho, o idioma, o tom e as restrições, como não citar concorrentes ou responder só com base em um documento.
Os primeiros modelos de linguagem apenas continuavam textos. Se alguém escrevia uma pergunta, o modelo podia responder com outra pergunta. A transformação em assistentes úteis veio com técnicas que ensinam o modelo a tratar o texto do usuário como uma tarefa a ser executada.
Como a capacidade é desenvolvida
O ponto de partida é um modelo pré-treinado em grandes volumes de texto. Sobre ele, os laboratórios aplicam etapas de ajuste:
- Instruction tuning: ajuste fino com milhares de pares de instrução e resposta, cobrindo tarefas variadas. Conjuntos públicos como FLAN e Alpaca ficaram conhecidos nessa linha.
- Aprendizado por preferência: técnicas como RLHF e DPO usam comparações entre respostas para reforçar as que seguem melhor o pedido.
- Avaliação contínua: benchmarks como o IFEval verificam instruções objetivas, como use exatamente três tópicos ou não use vírgulas.
Na hora do uso, o modelo combina as instruções do system prompt, definidas por quem constrói a aplicação, com as instruções do usuário. Quando elas conflitam, modelos bem ajustados tendem a priorizar as regras do sistema.
Para que serve nas empresas
- Atendimento: um assistente de banco precisa responder em linguagem simples, nunca prometer prazos que não existem e encaminhar ao humano em casos de fraude.
- Extração de dados: uma transportadora pede ao modelo que leia notas fiscais e devolva só um JSON com campos definidos, sem texto extra, para alimentar o sistema.
- Marketing: uma marca exige textos com tamanho máximo, palavras proibidas e tom definido no guia de voz.
- Jurídico e compliance: um escritório instrui o modelo a responder apenas com base nos documentos fornecidos e a citar a cláusula usada.
- Agentes: fluxos com várias etapas dependem de o modelo seguir passos na ordem certa e usar ferramentas só quando permitido.
Vantagens, limites e cuidados
Um bom seguidor de instruções reduz o retrabalho e permite automatizar tarefas que antes exigiam revisão humana constante. Também facilita integrar o modelo a sistemas, porque a saída fica previsível.
Os limites aparecem em instruções longas, ambíguas ou contraditórias. Modelos podem esquecer regras no meio de conversas extensas, cumprir a letra e não o espírito do pedido, ou ceder a usuários que tentam burlar regras por prompt injection. Instruções seguidas não garantem que o conteúdo esteja correto: o modelo pode respeitar o formato e ainda assim errar o fato.
Como avaliar instruction following em um modelo
- Monte um conjunto de testes com instruções reais do seu processo, incluindo casos difíceis e conflitantes.
- Separe o que é verificável por código, como formato e tamanho, do que exige julgamento humano.
- Use saída estruturada quando a aplicação depender de formato rígido.
- Teste em português e com o tamanho real de contexto que a aplicação vai usar.
- Repita os testes a cada troca de modelo ou versão.
Perguntas frequentes sobre instruction following
Instruction following é o mesmo que prompt engineering?
Não. Instruction following é uma capacidade do modelo, desenvolvida no treinamento. Prompt engineering é a prática de escrever instruções claras para aproveitar essa capacidade. Um modelo com boa capacidade ainda depende de instruções bem escritas, e um prompt excelente não compensa um modelo fraco nesse quesito.
Por que o modelo ignora parte das minhas instruções?
Causas comuns são instruções demais no mesmo pedido, regras contraditórias, contexto muito longo e pedidos negativos vagos. Ajuda separar regras em lista, colocar as mais importantes no system prompt, dar exemplos do formato esperado e validar a saída por código quando possível.
Modelos menores seguem instruções tão bem quanto os maiores?
Depende do modelo e da tarefa. Modelos menores bem ajustados podem seguir instruções simples com consistência, mas costumam ter mais dificuldade com muitas regras ao mesmo tempo e com raciocínio em várias etapas. O teste com os seus próprios casos é a forma confiável de decidir.
Termos relacionados
Para escolher e testar modelos com base nas instruções reais do seu negócio, a consultoria de IA da Trilion ajuda a montar o processo de avaliação.
