robots.txt: como controlar o que o Google e as IAs podem ler

Posicionamento no Google e nas IAs · Artigo

robots.txt: como controlar o que o Google e as IAs podem ler

Falar no WhatsApp
Resposta direta

O robots.txt é um arquivo de texto na raiz do site que diz aos rastreadores quais endereços podem acessar. Serve para organizar o rastreamento, não para esconder páginas: para tirar uma página do Google usa-se noindex, e para proteger conteúdo privado, senha. Robôs de IA também podem ser tratados nele.

Pontos-chave

O que você leva deste artigo

  1. Robots.txt: o que é e para que serveO robots.txt é um arquivo de texto publicado na raiz do site que informa aos rastreadores quais endereços eles podem acessar. Serve para organizar o acesso dos robôs, não para esconder pág…Ir para a seção
  2. Como escrever o arquivo: local, formato e diretivasO arquivo precisa se chamar robots.txt, ficar na raiz do endereço, usar texto simples em UTF-8 e reunir regras em grupos, cada um iniciado por um User-agent. As diretivas principais são po…Ir para a seção
  3. Robots.txt não tira página do Google: a diferença para o noindexBloquear o rastreamento não é o mesmo que bloquear a indexação. Para tirar uma página dos resultados, a ferramenta correta é o noindex, e a página precisa continuar acessível para o robô l…Ir para a seção
  4. Rastreadores de IA: o que dá para controlarOs principais fornecedores de IA publicam nomes de robôs que podem ser tratados no robots.txt, mas cada um serve a uma finalidade diferente. Antes de bloquear, é preciso saber o que cada n…Ir para a seção
  5. Passo a passo: o que liberar e o que bloquear no seu siteUma boa política de robots.txt começa pelo inventário do que existe no site e termina com um arquivo curto, que bloqueia apenas o que não precisa ser rastreado.Ir para a seção
  6. Como testar o robots.txt e evitar os erros mais comunsTestar o arquivo antes e depois de publicar evita o erro mais caro: bloquear sem querer páginas que trazem clientes. O Google Search Console oferece um relatório próprio para isso.Ir para a seção

Imagine a equipe de marketing publicando, numa sexta-feira, a nova versão do site. Na segunda, o tráfego vindo do Google despenca. A causa não é o conteúdo nem a concorrência: uma única linha esquecida no arquivo robots.txt pediu aos rastreadores que ficassem longe do site inteiro. Um arquivo de texto simples, com poucas linhas, decidiu sozinho o que o Google e outros robôs podiam ler.

O contrário também acontece. Há empresas que querem manter páginas fora dos resultados, ou decidir se os assistentes de inteligência artificial podem usar o seu conteúdo, e descobrem que o arquivo não faz o que imaginavam. Este guia explica, em linguagem direta, como o robots.txt funciona, o que ele controla de verdade, como lidar com os rastreadores de IA e como testar o arquivo antes de ele causar prejuízo.

Na Trilion, que desenvolve sites e sistemas desde 1995, o robots.txt é uma das primeiras coisas que revisamos em qualquer projeto. Ao final, você terá um roteiro para decidir o que liberar, o que bloquear e o que nunca esperar desse arquivo.

Robots.txt: o que é e para que serve

O robots.txt é um arquivo de texto publicado na raiz do site que informa aos rastreadores quais endereços eles podem acessar. Serve para organizar o acesso dos robôs, não para esconder páginas.

O que é robots.txt, em uma frase

Segundo a documentação do Google, o arquivo diz aos rastreadores de buscadores quais URLs eles podem acessar no seu site. Rastreador é o robô que percorre as páginas seguindo links, para que o buscador as conheça. O robots.txt é, portanto, uma orientação de trânsito para esses robôs.

Para que ele é usado no dia a dia

O uso principal, de acordo com o Google, é administrar o tráfego de rastreamento, evitando que o servidor seja sobrecarregado com requisições. Ele também pode impedir que arquivos de mídia, como imagens, apareçam nos resultados de busca, e bloquear arquivos de recursos pouco importantes, desde que a ausência deles não prejudique a compreensão da página.

O que o robots.txt não é

A própria documentação do Google afirma que o arquivo não é um mecanismo para manter uma página fora do Google. Ele também não é uma barreira de segurança: o padrão técnico que descreve o protocolo, a RFC 9309, diz que as regras não são uma forma de autorização de acesso. Como o arquivo é público, listar ali um caminho sigiloso ainda o torna fácil de descobrir.

Quem respeita as regras

Robôs de buscadores conhecidos, como o Googlebot, seguem o arquivo. Outros rastreadores podem ignorá-lo, porque o cumprimento é voluntário. Por isso, informação realmente restrita precisa de senha ou de controle de acesso no servidor, nunca apenas de uma linha de robots.txt.

Como escrever o arquivo: local, formato e diretivas

O arquivo precisa se chamar robots.txt, ficar na raiz do endereço, usar texto simples em UTF-8 e reunir regras em grupos, cada um iniciado por um User-agent. As diretivas principais são poucas.

Nome, local e formato

De acordo com a documentação do Google, o arquivo deve se chamar exatamente robots.txt, existir uma única vez por site e ficar na raiz do endereço, como em seudominio.com.br/robots.txt. Ele não funciona dentro de uma subpasta. O formato é texto simples com codificação UTF-8, e o símbolo # inicia um comentário.

As quatro diretivas que importam

A estrutura se resume a quatro instruções:

  • User-agent: obrigatória, abre cada grupo de regras e diz a qual robô elas se aplicam; o asterisco vale para todos.
  • Disallow: impede o rastreamento de um caminho.
  • Allow: abre uma exceção dentro de um caminho bloqueado, liberando uma subpasta ou página.
  • Sitemap: opcional, informa o endereço completo do mapa do site.

O curinga asterisco funciona em todas as regras, exceto em Sitemap, e os caminhos diferenciam maiúsculas de minúsculas. Escrever /Cliente/ não é o mesmo que /cliente/.

Um exemplo comentado

O exemplo da própria documentação do Google ilustra a lógica. Primeiro um grupo para o Googlebot, depois um grupo geral, depois o mapa do site:

  • User-agent: Googlebot e Disallow: /nogooglebot/: o Googlebot não rastreia essa pasta.
  • User-agent: * e Allow: /: todos os outros robôs podem rastrear o site.
  • Sitemap: https://www.exemplo.com/sitemap.xml: indica onde está o mapa do site.

Cada endereço tem o seu arquivo

O arquivo vale para o endereço onde foi publicado. Um subdomínio, como loja.seudominio.com.br, precisa do seu próprio robots.txt, separado do domínio principal. Em projetos com várias frentes, vale listar todos os endereços ativos e conferir se cada um tem o arquivo certo.

Guarde esta pergunta e compartilhe com quem publica o site: quantos endereços a sua empresa mantém no ar, e cada um tem o seu robots.txt?

Imagem ilustrativa: interface de dados

Robots.txt não tira página do Google: a diferença para o noindex

Bloquear o rastreamento não é o mesmo que bloquear a indexação. Para tirar uma página dos resultados, a ferramenta correta é o noindex, e a página precisa continuar acessível para o robô lê-lo.

Rastrear e indexar são etapas diferentes

Rastrear é visitar a página. Indexar é guardá-la no banco de dados do buscador para poder exibi-la nos resultados. O robots.txt atua na primeira etapa. Para entender como as duas se encaixam, leia nosso guia sobre como o Google funciona: rastreamento, indexação e ranqueamento.

Por que uma página bloqueada ainda pode aparecer

A documentação do Google informa que um endereço bloqueado pode ser indexado e aparecer nos resultados se outros sites apontarem links para ele. Nesse caso, o resultado costuma surgir sem descrição, porque o Google não pôde ler o conteúdo. É o resultado oposto ao que quem bloqueou esperava.

Como usar o noindex corretamente

Para manter uma página fora dos resultados, o Google indica duas formas, além da proteção por senha:

  • Meta tag robots: a linha meta name="robots" content="noindex" dentro do código da página.
  • Cabeçalho X-Robots-Tag: o servidor envia X-Robots-Tag: noindex na resposta, o que também funciona para arquivos como PDF e imagens.
  • Proteção por senha: para conteúdo que não deve ser público de jeito nenhum.

A armadilha: bloquear e marcar noindex ao mesmo tempo

O Google só enxerga a regra de noindex se puder rastrear a página. Se o robots.txt bloqueia o endereço, a meta tag e o cabeçalho nunca são lidos, e a regra é ignorada. Quem deseja remover uma página dos resultados deve mantê-la rastreável até que ela saia do índice.

Rastreadores de IA: o que dá para controlar

Os principais fornecedores de IA publicam nomes de robôs que podem ser tratados no robots.txt, mas cada um serve a uma finalidade diferente. Antes de bloquear, é preciso saber o que cada nome faz.

Os robôs da OpenAI e suas funções

A documentação da OpenAI descreve 3 nomes. O GPTBot rastreia conteúdo que pode ser usado para treinar seus modelos, e bloqueá-lo sinaliza que o seu conteúdo não deve servir a esse treinamento. O OAI-SearchBot é usado para exibir sites nos recursos de busca do ChatGPT. O ChatGPT-User visita páginas quando uma pessoa pede algo que exige isso, e, por ser uma ação iniciada pelo usuário, as regras do robots.txt podem não se aplicar a ele.

O Google-Extended não é um robô

Segundo a documentação do Google, o Google-Extended é um token do robots.txt, e não um rastreador com identificação própria. Ele permite decidir se o conteúdo rastreado pode ser usado para treinar futuros modelos Gemini e para a etapa em que o conteúdo do índice é fornecido aos modelos na hora da pergunta. A mesma página afirma que ele não afeta a inclusão no Google Search e não é um sinal de ranqueamento.

Bloquear treinamento é diferente de sair das respostas

Esse é o ponto que mais gera confusão. Impedir o uso para treinamento não é o mesmo que deixar de aparecer em buscas assistidas por IA, e o inverso também vale. A OpenAI informa que sites que bloqueiam o OAI-SearchBot não aparecem nas respostas de busca do ChatGPT, embora ainda possam surgir como links de navegação. Por isso, a decisão exige olhar o objetivo de cada robô.

Existe um prazo para a mudança valer

A OpenAI indica que o ajuste de seus sistemas, após uma atualização do robots.txt, pode levar cerca de 24 horas. A RFC 9309 também prevê que rastreadores guardem o arquivo em memória por até 24 horas. Alterou o arquivo? Espere pelo menos 1 dia antes de concluir que algo não funcionou.

Nenhuma dessas regras garante o que Google ou assistentes de IA vão exibir. Elas controlam o acesso dos robôs, não as respostas. Para a visão completa do tema, veja nosso texto sobre GEO e as respostas de IA.

Imagem ilustrativa: conversa de negócios

Passo a passo: o que liberar e o que bloquear no seu site

Uma boa política de robots.txt começa pelo inventário do que existe no site e termina com um arquivo curto, que bloqueia apenas o que não precisa ser rastreado.

Os 5 passos para definir as regras

  1. Liste as áreas do site: páginas públicas, painel do cliente, carrinho, resultados de busca interna, arquivos de teste.
  2. Separe o que deve ser encontrado: tudo que gera visitas e contatos precisa ficar livre para rastreamento.
  3. Escolha o mecanismo certo: robots.txt para organizar o rastreamento, noindex para tirar do índice, senha para o que é privado.
  4. Decida a política para IA: avalie, robô por robô, se o conteúdo pode servir a treinamento e a buscas assistidas.
  5. Publique e registre a data: guarde a versão anterior e anote por que cada regra existe.

O que costuma fazer sentido bloquear

Áreas administrativas, páginas geradas por filtros que criam milhares de combinações de endereços e resultados da busca interna costumam gastar rastreamento sem trazer valor. Mesmo assim, cada site é diferente, e a decisão depende da estrutura e do objetivo do projeto.

O que quase nunca deve ser bloqueado

Páginas de serviços, artigos, contato e os arquivos que o navegador precisa para montar a página, como estilos e scripts essenciais. A documentação do Google só admite bloquear recursos quando a ausência deles não afeta de modo relevante a compreensão da página.

Indique o mapa do site no próprio arquivo

A diretiva Sitemap ajuda os robôs a encontrar a lista de páginas importantes. Em sites grandes, como os que organizam o conteúdo em vários mapas por seção, ela pode apontar para o índice de mapas. Veja como funciona em Sitemap XML: para que serve e como enviar ao Google.

Lista de conferência antes de publicar

  • O arquivo está na raiz e abre no navegador.
  • Nenhuma página importante está sob Disallow.
  • As páginas com noindex continuam rastreáveis.
  • A política para cada robô de IA foi decidida de propósito.
  • A linha do Sitemap aponta para um endereço que existe.

Como testar o robots.txt e evitar os erros mais comuns

Testar o arquivo antes e depois de publicar evita o erro mais caro: bloquear sem querer páginas que trazem clientes. O Google Search Console oferece um relatório próprio para isso.

O relatório de robots.txt no Search Console

De acordo com o Google, o relatório mostra os arquivos robots.txt encontrados para os 20 principais hosts do site, a data da última leitura, o estado da busca (como um erro 404), o tamanho e a contagem de erros e avisos de interpretação. Também exibe a última versão lida, com os problemas destacados, e o histórico dos últimos 30 dias. O relatório existe apenas para propriedades de domínio. Para conhecer a ferramenta, leia Google Search Console: o que mostra e como usar no dia a dia.

Verifique uma página específica

Para saber se um endereço isolado está bloqueado, a mesma documentação aponta a ferramenta de inspeção de URL. Faça esse teste nas páginas mais importantes sempre que o arquivo mudar, e não apenas na página inicial.

O que acontece quando o arquivo some ou falha

A RFC 9309 descreve dois comportamentos importantes. Se o servidor responde com um código da família 4xx (arquivo inexistente), os rastreadores podem acessar qualquer recurso do servidor. Se responde com um código da família 5xx (erro do servidor), eles devem assumir que tudo está bloqueado. Uma falha temporária de hospedagem pode, assim, interromper o rastreamento do site.

Os erros que mais vemos

  • Disallow: / esquecido de um ambiente de testes e levado para o site publicado.
  • Caminho com maiúsculas trocadas, que faz a regra não valer para o endereço real.
  • Noindex combinado com bloqueio, que impede o robô de ler a marcação.
  • Arquivo fora da raiz ou com nome diferente de robots.txt.
  • Regras copiadas de outro site, sem revisão da estrutura própria.

Comente com o seu time: quando foi a última vez que alguém abriu o robots.txt do site e leu linha por linha?

Robots.txt dentro de uma estratégia maior de busca

O arquivo é uma peça pequena de um conjunto que inclui indexação, mapa do site, dados estruturados e conteúdo claro. Sozinho, ele organiza o acesso, mas não traz visitas.

Ele conversa com indexação e mapa do site

Um robots.txt bem feito deixa o caminho livre para o Google chegar às páginas que importam. O restante depende de a página ser considerada útil e de estar bem indexada, assunto do nosso guia Indexação no Google: como indexar o seu site e o que impede.

Ele conversa com o arquivo llms.txt

O robots.txt diz o que os robôs podem acessar. Já o llms.txt é uma proposta de arquivo que apresenta o site de forma resumida para modelos de linguagem. São funções diferentes, e um não substitui o outro. Explicamos a diferença em llms.txt: para que serve e como usar no seu site.

Ninguém controla o resultado final

Liberar o acesso não garante posição, tráfego nem presença em respostas de IA. Google e assistentes decidem sozinhos o que mostrar. O que a empresa controla é a parte técnica: deixar o site acessível, claro e bem organizado, para ter condições de ser lido e entendido.

Quando vale pedir ajuda especializada

Sites com várias áreas, subdomínios, lojas, painéis e integrações pedem uma revisão cuidadosa do robots.txt. É um trabalho que fazemos junto com o SEO técnico, como descrito em nossa frente de posicionamento no Google e nas IAs e na de otimização para SEO e GEO.

Conclusão

O robots.txt é um arquivo pequeno, público e voluntário, que orienta o acesso dos robôs e jamais deve ser tratado como proteção de conteúdo. Ele decide o que pode ser rastreado, mas quem decide o que sai do Google é o noindex, e quem protege o que é privado é a senha.

Vimos que o local e o formato do arquivo importam, que cada robô de IA tem uma função diferente, que bloquear treinamento não é o mesmo que sair de buscas assistidas e que testar o arquivo evita prejuízo silencioso. Nenhuma configuração promete posição ou aparição em respostas de IA: o que existe é método para deixar o site acessível e bem explicado.

Se o seu site tem várias áreas, um painel ou uma loja, vale revisar o arquivo agora. Monte o seu briefing em nossa página de Google e IAs ou direto em orçamento. A proposta é escrita depois do briefing, e o valor depende de escopo, integrações, volume e prazo.

Se prefere terceirizar esse trabalho, veja como escolher uma agência de SEO em São Paulo.

Sobre este texto

Este guia foi escrito pela equipe da Trilion a partir da leitura direta da documentação de cada fonte, com cada fato conferido na página citada. Onde não foi possível confirmar uma informação, ela ficou de fora. Não há promessa de posição, de tráfego ou de aparição em respostas de IA. Fontes consultadas em 07/11/2026:

Perguntas frequentes

O que é robots.txt?

É um arquivo de texto publicado na raiz do site que informa aos rastreadores de buscadores quais endereços eles podem acessar. Serve principalmente para organizar o tráfego de rastreamento. Não é uma barreira de segurança nem um jeito garantido de manter páginas fora do Google.

O robots.txt tira uma página do Google?

Não. Uma página bloqueada ainda pode aparecer nos resultados, geralmente sem descrição, se outros sites apontarem links para ela. Para mantê-la fora, use noindex, por meta tag ou cabeçalho, deixando a página rastreável, ou proteja-a com senha.

Como bloquear o GPTBot e os rastreadores de IA?

Cada robô tem um grupo próprio no arquivo, iniciado por User-agent com o nome dele, seguido de Disallow. O GPTBot é ligado a treinamento, e o OAI-SearchBot, à busca do ChatGPT. Bloquear um não equivale a bloquear o outro.

O Google-Extended afeta a posição no Google?

Segundo a documentação do Google, não. Ele é um token do robots.txt que controla o uso do conteúdo no treinamento de modelos Gemini e na etapa de fundamentação, e não afeta a inclusão no Google Search nem funciona como sinal de ranqueamento.

Quanto tempo a mudança no robots.txt leva para valer?

Os rastreadores podem guardar o arquivo por até 24 horas, conforme a RFC 9309, e a OpenAI indica cerca de 24 horas para ajustar seus sistemas de busca. Aguarde pelo menos 1 dia antes de concluir que a alteração não funcionou.

Todo site precisa de robots.txt?

Não é obrigatório, mas é recomendável. Sem o arquivo, a resposta 4xx permite que os rastreadores acessem tudo. Ter um arquivo simples, com a linha do Sitemap, facilita a organização e o controle.

Método

Como a Trilion conduz um projeto de posicionamento no Google e nas IAs

Do briefing à operação, em 5 etapas e com tudo por escrito. A proposta vem depois do briefing e o valor depende de escopo, integrações, volume e prazo.

  1. Briefing em 3 passos

    Você conta o que precisa construir; nós devolvemos perguntas e um caminho possível.

  2. Desenho por escrito

    Diagnóstico, palavras de busca, estrutura técnica e plano de conteúdo, antes de qualquer alteração.

  3. Construção em fatias

    Ajustes pequenos e mensuráveis, publicados em ciclos curtos e acompanhados no Search Console.

  4. Testes e homologação

    Casos do dia a dia da sua operação, com plano de retorno antes de publicar.

  5. Operação e evolução

    Acompanhamento combinado na proposta e ajustes guiados por indicadores.

Vamos posicionar a sua empresa no Google e nas IAs

Conte o que precisa resolver. A Trilion responde com uma proposta escrita, depois do briefing, e leva o projeto do código à operação.

Falar no WhatsApp
Blog da Trilion · SEO e posicionamento

Continue aprendendo sobre SEO e busca

Artigos do blog da Trilion que aprofundam os temas deste texto. Arraste, use as setas ou o teclado.

WhatsApp
WhatsApp

Converse com a Trilion

Diga-nos o seu nome, e a conversa abre em seguida