O Que E o X-Robots-Tag? | Glossario de SEO

O X-Robots-Tag e uma forma de controlar o rastreamento e a indexacao dos mecanismos de busca por meio de cabecalhos de resposta HTTP. Em vez de colocar <meta name="robots"> dentro do HTML, o servidor envia as mesmas diretivas em um cabecalho de resposta como X-Robots-Tag: noindex.

Por Que Importa

As meta tags HTML so funcionam dentro de arquivos HTML. Recursos que nao sao HTML (PDFs, imagens, videos, respostas de API em JSON) nao podem usar tags <meta>, deixando uma lacuna no controle de indexacao. O X-Robots-Tag preenche essa lacuna ao se aplicar a qualquer resposta HTTP. O Search Engine Land documentou casos de e-commerce em que dezenas de milhares de catalogos em PDF foram indexados e prejudicaram o ranqueamento como conteudo duplicado, resolvido de uma so vez com o X-Robots-Tag.

X-Robots-Tag vs Meta Robots vs robots.txt

Metodo	Local	Escopo	Bloqueia o rastreamento?
robots.txt	`/robots.txt`	Padroes de URL	Sim, bloqueia o proprio rastreamento
Meta Robots	`<head>` do HTML	Aquela pagina HTML	Nao, controla apenas a indexacao
X-Robots-Tag	Cabecalho de resposta HTTP	Qualquer tipo de recurso	Nao, controla apenas a indexacao

Distincao critica: o robots.txt diz "nao rastreie", enquanto o Meta Robots e o X-Robots-Tag dizem "nao indexe". Para bloquear a indexacao, o Googlebot precisa de fato alcancar a pagina para ler a diretiva. Bloquear no robots.txt interrompe o rastreamento por completo, de modo que o Google nunca ve a instrucao de indexacao.

Principais Diretivas

Diretiva	Significado
`noindex`	Nao mostrar nos resultados de busca
`nofollow`	Nao seguir os links da pagina
`none`	O mesmo que `noindex, nofollow`
`noarchive`	Nao mostrar uma copia em cache nas SERPs
`nosnippet`	Nao mostrar snippets nem miniaturas
`unavailable_after: [date]`	Remover do indice apos a data
`max-snippet: [n]`	Limitar o tamanho do snippet
`max-image-preview: [setting]`	Limitar o tamanho da previa de imagem
`max-video-preview: [n]`	Limitar a duracao da previa de video

Para controle no nivel de snippet dentro de uma pagina HTML, use data-nosnippet no elemento exato que voce quer excluir dos snippets de busca. Isso e diferente do X-Robots-Tag porque oculta apenas o texto selecionado, em vez de alterar o estado de indexacao do recurso inteiro.

Exemplos de Configuracao

Bloquear a indexacao de PDF (Apache .htaccess):

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Bloquear um diretorio de imagens (Nginx):

location /private-images/ {
  add_header X-Robots-Tag "noindex";
}

Direcionar a um rastreador especifico (apenas Googlebot):

X-Robots-Tag: googlebot: noindex

Indexacao por tempo limitado:

X-Robots-Tag: unavailable_after: 31 Dec 2026 23:59:59 GMT

Exclusao de snippet no nivel do elemento (HTML):

<p data-nosnippet>Do not show this sentence in Google snippets.</p>

Detalhes Praticos a Observar

Nao combine com o disallow do robots.txt: Se o robots.txt bloquear a URL, o Google nao consegue ler o cabecalho de jeito nenhum. Para bloquear a indexacao, permita o rastreamento no robots.txt e use o noindex do X-Robots-Tag.

Requer configuracao no servidor: Ao contrario das meta tags, o X-Robots-Tag e configurado no nivel do servidor web (Apache, Nginx, Cloudflare Workers). As plataformas de CMS nem sempre lidam com ele automaticamente.

Verifique com o Search Console ou o curl: Confira se o cabecalho realmente aparece com a ferramenta de Inspecao de URL do Google Search Console ou com curl -I https://example.com/file.pdf.

Controles de snippet nao sao controles de privacidade: nosnippet e data-nosnippet mudam como o Google exibe um resultado, mas o conteudo subjacente continua publicamente acessivel. Use autenticacao ou controle de acesso no lado do servidor para conteudo privado.

Fontes: