Robots Meta Tag
A robots meta tag e a tag <meta name="robots"> inserida na area <head> do HTML e e a meta tag que instrui, por pagina, como o mecanismo de busca deve indexar uma pagina especifica e exibi-la nos resultados. Ela e o recipiente que carrega diretivas individuais como noindex, nofollow e max-snippet, e tambem o conceito guarda-chuva que agrupa esse conjunto de diretivas.
A robots meta tag e a tag <meta name="robots"> inserida na area <head> do HTML e e a meta tag que instrui, por pagina, como o mecanismo de busca deve indexar uma pagina especifica e exibi-la nos resultados. Ela e o recipiente que carrega diretivas individuais como noindex, nofollow e max-snippet, e tambem o conceito guarda-chuva que agrupa esse conjunto de diretivas.
Por Que Importa
Se o robots.txt controla o acesso dos crawlers no nivel do site, a robots meta tag controla com precisao, pagina por pagina, se ela deve ser indexada e como deve ser exibida nos resultados. Por cuidar tanto do "controle de indexacao" - tirar dos resultados paginas de login ou de agradecimento (noindex) - quanto do "controle da forma de exibicao" - limitar a quantidade de texto exibida no snippet (max-snippet) -, ela e uma das ferramentas mais usadas no SEO tecnico.
Principais diretivas
As diretivas mais representativas suportadas pelo Google sao as seguintes.
| Diretiva | Significado |
|---|---|
all | Sem restricoes (valor padrao) |
noindex | Exclui a pagina dos resultados de busca |
nofollow | Nao segue os links da pagina |
none | Equivale a noindex, nofollow |
nosnippet | Nao exibe snippet de texto nem previa de video |
max-snippet:[numero] | Limita o numero maximo de caracteres do snippet de texto |
max-image-preview:[configuracao] | Define o tamanho da previa de imagem (none, standard, large) |
max-video-preview:[numero] | Limita a duracao maxima da previa de video (em segundos) |
noimageindex | Nao indexa as imagens da pagina |
notranslate | Nao exibe sugestao de traducao nos resultados |
indexifembedded | Permite a indexacao quando a pagina noindex e inserida via iframe |
unavailable_after:[data] | Exclui a pagina dos resultados apos a data indicada |
Varias diretivas podem ser combinadas com virgulas.
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="max-snippet:120, max-image-preview:large">
Como configurar e cuidados
name="robots" se aplica a todos os crawlers dos mecanismos de busca, mas tambem e possivel direcionar apenas um crawler especifico, como name="googlebot". Quando as regras entram em conflito, prevalece a mais restritiva. Por exemplo, se max-snippet:50 e nosnippet aparecem juntos, o nosnippet tem prioridade.
Em arquivos que nao sao HTML, como PDFs e imagens, nao e possivel inserir a meta tag; nesses casos, as mesmas diretivas sao entregues pelo cabecalho de resposta HTTP X-Robots-Tag.
O erro mais comum e misturar com o bloqueio do robots.txt. Se voce bloqueia a coleta pelo robots.txt, o mecanismo de busca nao consegue abrir a pagina e, portanto, nao le a propria robots meta tag. Uma pagina em que voce quer aplicar noindex precisa, obrigatoriamente, estar com a coleta permitida.
Controle de snippet na era da IA
Originalmente, nosnippet e max-snippet serviam para ajustar o tamanho do snippet nos resultados de busca, mas, com a expansao da busca por IA, o significado mudou. Em sua documentacao oficial, o Google especificou que o alcance dessas diretivas abrange nao apenas a busca na web, imagens e o Discover, mas tambem o AI Overviews (AI Overview) e o AI Mode. Ao declarar nosnippet, voce bloqueia ate mesmo o uso daquele conteudo como entrada direta nas respostas de IA, e o max-snippet limita a quantidade que a IA pode citar.
Ou seja, a robots meta tag passou de "quantas linhas mostrar nos resultados de busca" para um meio de controlar "quanto do meu conteudo sera usado nas respostas de IA". Vale lembrar, porem, que quanto mais forte a restricao, menores tambem podem ser as oportunidades de exposicao na busca por IA; por isso, a decisao deve ponderar o trade-off entre proteger o conteudo e a visibilidade.
Sources:
- Robots Meta Tags Specifications - Google Search Central
- AI Features and Your Website - Google Search Central
Como o inblog Ajuda
O inblog processa as robots meta tags automaticamente, portanto a publicacao comum de posts nao exige configuracao adicional. Se houver um post que voce queira excluir dos resultados de busca, basta usar a configuracao de noindex por post. As demais diretivas mais detalhadas, na maioria das operacoes de blog, sao suficientes nos valores padrao; e, se o objetivo for ampliar a exposicao na busca por IA, e mais vantajoso nao aplicar limites de snippet.