Robots Meta Tag
A robots meta tag é a tag <meta name="robots"> inserida na área <head> do HTML e é a meta tag que instrui, por página, como o mecanismo de busca deve indexar uma página específica e exibi-la nos resultados. Ela é o recipiente que carrega diretivas individuais como noindex, nofollow e max-snippet, e também o conceito guarda-chuva que agrupa esse conjunto de diretivas.
A robots meta tag é a tag <meta name="robots"> inserida na área <head> do HTML e é a meta tag que instrui, por página, como o mecanismo de busca deve indexar uma página específica e exibi-la nos resultados. Ela é o recipiente que carrega diretivas individuais como noindex, nofollow e max-snippet, e também o conceito guarda-chuva que agrupa esse conjunto de diretivas.
Por Que Importa
Se o robots.txt controla o acesso dos crawlers no nível do site, a robots meta tag controla com precisão, página por página, se ela deve ser indexada e como deve ser exibida nos resultados. Por cuidar tanto do "controle de indexação" - tirar dos resultados páginas de login ou de agradecimento (noindex) - quanto do "controle da forma de exibição" - limitar a quantidade de texto exibida no snippet (max-snippet) -, ela é uma das ferramentas mais usadas no SEO técnico.
Principais diretivas
As diretivas mais representativas suportadas pelo Google são as seguintes.
| Diretiva | Significado |
|---|---|
all | Sem restrições (valor padrão) |
noindex | Exclui a página dos resultados de busca |
nofollow | Não segue os links da página |
none | Equivale a noindex, nofollow |
nosnippet | Não exibe snippet de texto nem prévia de vídeo |
max-snippet:[numero] | Limita o número máximo de caracteres do snippet de texto |
max-image-preview:[configuracao] | Define o tamanho da prévia de imagem (none, standard, large) |
max-video-preview:[numero] | Limita a duração máxima da prévia de vídeo (em segundos) |
noimageindex | Não indexa as imagens da página |
notranslate | Não exibe sugestão de tradução nos resultados |
indexifembedded | Permite a indexação quando a página noindex e inserida via iframe |
unavailable_after:[data] | Exclui a página dos resultados após a data indicada |
Várias diretivas podem ser combinadas com vírgulas.
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="max-snippet:120, max-image-preview:large">
Como configurar e cuidados
name="robots" se aplica a todos os crawlers dos mecanismos de busca, mas também é possível direcionar apenas um crawler específico, como name="googlebot". Quando as regras entram em conflito, prevalece a mais restritiva. Por exemplo, se max-snippet:50 e nosnippet aparecem juntos, o nosnippet tem prioridade.
Em arquivos que não são HTML, como PDFs e imagens, não é possível inserir a meta tag; nesses casos, as mesmas diretivas são entregues pelo cabeçalho de resposta HTTP X-Robots-Tag.
O erro mais comum é misturar com o bloqueio do robots.txt. Se você bloqueia a coleta pelo robots.txt, o mecanismo de busca não consegue abrir a página e, portanto, não le a própria robots meta tag. Uma página em que você quer aplicar noindex precisa, obrigatoriamente, estar com a coleta permitida.
Controle de snippet na era da IA
Originalmente, nosnippet e max-snippet serviam para ajustar o tamanho do snippet nos resultados de busca, mas, com a expansão da busca por IA, o significado mudou. Em sua documentação oficial, o Google especificou que o alcance dessas diretivas abrange não apenas a busca na web, imagens e o Discover, mas também o AI Overviews (AI Overview) e o AI Mode. Ao declarar nosnippet, você bloqueia até mesmo o uso daquele conteúdo como entrada direta nas respostas de IA, e o max-snippet limita a quantidade que a IA pode citar.
Ou seja, a robots meta tag passou de "quantas linhas mostrar nos resultados de busca" para um meio de controlar "quanto do meu conteúdo será usado nas respostas de IA". Vale lembrar, porém, que quanto mais forte a restrição, menores também podem ser as oportunidades de exposição na busca por IA; por isso, a decisão deve ponderar o trade-off entre proteger o conteúdo e a visibilidade.
Sources:
- Robots Meta Tags Specifications - Google Search Central
- AI Features and Your Website - Google Search Central
Como o inblog Ajuda
O inblog processa as robots meta tags automaticamente, portanto a publicação comum de posts não exige configuração adicional. Se houver um post que você queira excluir dos resultados de busca, basta usar a configuração de noindex por post. As demais diretivas mais detalhadas, na maioria das operações de blog, são suficientes nos valores padrão; e, se o objetivo for ampliar a exposição na busca por IA, é mais vantajoso não aplicar limites de snippet.