Prompt Injection

Categoria
IA Generativa
Prompt injection é o ataque em que instruções escondidas em textos ou dados levam um modelo de IA a ignorar suas regras e agir contra o sistema que o usa.
Categoria
IA Generativa
Compartilhar
LinkedInWhatsApp

O que é prompt injection?

Prompt injection é um ataque contra aplicações baseadas em modelos de linguagem em que alguém insere instruções num texto que o modelo vai ler, com o objetivo de fazê-lo desobedecer às regras definidas pelo desenvolvedor. O modelo não distingue com segurança o que é ordem legítima e o que é conteúdo, e por isso pode seguir a instrução maliciosa.

O nome vem da injeção de SQL. A diferença é que, num modelo de linguagem, comando e dado chegam como texto na mesma janela de contexto, e essa mistura é a raiz do problema.

Como o ataque funciona

Uma aplicação de IA costuma montar o pedido ao modelo juntando três partes: o system prompt com as regras do negócio, a mensagem do usuário e, muitas vezes, conteúdo externo, como um documento, um e-mail ou uma página web. O atacante explora qualquer uma das duas últimas partes.

Injeção direta

O próprio usuário escreve algo como pedir ao assistente que esqueça as instruções anteriores e revele suas regras internas, ou que responda fora do escopo permitido. É parente próximo do jailbreak, que busca contornar as políticas de segurança do modelo.

Injeção indireta

É a forma mais perigosa em sistemas corporativos. A instrução está escondida num dado que o sistema busca sozinho: um PDF anexado, um comentário num site, um campo de cadastro, um e-mail recebido. Ao ler esse material, o assistente encontra a ordem embutida e pode executá-la. Se o modelo tiver acesso a ferramentas, como enviar mensagens ou consultar bancos de dados, o estrago deixa de ser só uma resposta errada.

Onde o risco aparece nas empresas

  • Atendimento ao cliente: um chatbot de varejo pode ser induzido a prometer descontos, revelar políticas internas ou falar em nome da marca de forma inadequada.
  • Assistentes de e-mail: uma mensagem recebida com instruções ocultas pode levar o agente a encaminhar conversas ou dados para terceiros.
  • Busca em documentos com RAG: num sistema de RAG jurídico ou de RH, um arquivo adulterado na base pode distorcer as respostas para todos os usuários.
  • Agentes com ferramentas: em fluxos de tool use, como agentes que leem páginas web e preenchem sistemas, a injeção pode disparar ações reais.

Defesas, limites e cuidados

Não existe hoje uma solução que elimine o prompt injection por completo. A abordagem prudente é tratar o modelo como um componente que pode ser enganado e limitar o que ele consegue fazer quando isso acontecer.

  • Menor privilégio: dê ao modelo só as ferramentas e permissões estritamente necessárias.
  • Confirmação humana: ações sensíveis, como pagamentos, envios e exclusões, passam por aprovação de uma pessoa.
  • Separação de conteúdo: delimite claramente o que é dado externo e instrua o modelo a nunca tratá-lo como ordem.
  • Filtros e guardrails: classificadores que detectam padrões de ataque na entrada e checam a saída antes de ela chegar ao usuário ou a outro sistema.
  • Registros: logs permitem investigar incidentes e ajustar as defesas.

Se um ataque expõe dados pessoais, a empresa responde perante a LGPD. Por isso, o modelo não deve ter acesso a mais dados do que precisa.

Como avaliar a exposição da sua aplicação

Comece mapeando o que o modelo lê e o que ele pode fazer: toda fonte de texto fora do controle da empresa é uma porta de entrada, e quanto maior o poder de agir, maior o cuidado exigido. Exercícios de red teaming, em que uma equipe tenta deliberadamente quebrar o sistema, revelam falhas antes que alguém de fora as encontre. Ao contratar um fornecedor, pergunte como ele trata conteúdo externo, quais ações exigem confirmação e como os testes de segurança são feitos.

Perguntas frequentes sobre prompt injection

Prompt injection é o mesmo que jailbreak?

São ataques relacionados, mas com focos distintos. O jailbreak tenta fazer o modelo violar suas políticas de segurança gerais. O prompt injection mira a aplicação construída sobre o modelo, sobrepondo as instruções do desenvolvedor, muitas vezes por meio de dados externos que o usuário nem vê.

Um modelo mais avançado resolve o problema?

Ajuda, porque modelos recentes são treinados para resistir melhor a instruções suspeitas. Mas nenhum fornecedor garante imunidade. A proteção real vem da arquitetura: limitar permissões, exigir aprovação humana em ações críticas e monitorar o comportamento do sistema em produção.

Quem deve se preocupar com isso?

Qualquer empresa que coloca um modelo de linguagem para ler conteúdo de terceiros ou para executar ações em sistemas internos. Agentes conectados a e-mail, CRM ou banco de dados exigem atenção especial desde o projeto.

Termos relacionados

Se a sua empresa está colocando assistentes ou agentes em contato com dados externos, a consultoria de IA da Trilion ajuda a mapear os pontos de exposição e a desenhar controles proporcionais ao risco de cada fluxo.

Glossário...

Acreditamos que a alquimia de Retórica, Criatividade e variadas Habilidades humanas criam resultados incríveis.
WhatsApp
WhatsApp

Converse com a Trilion

Diga-nos o seu nome, e a conversa abre em seguida