Robots Meta Tag
Мета-тег robots - это тег <meta name="robots">, размещаемый в области HTML <head>, который сообщает поисковым системам на уровне отдельной страницы, как её индексировать и как показывать в результатах поиска. Это мета-тег, который несёт отдельные директивы, такие как noindex, nofollow и max-snippet, - и одновременно зонтичное понятие для всего этого семейства правил уровня страницы.
Мета-тег robots - это тег <meta name="robots">, размещаемый в области HTML <head>, который сообщает поисковым системам на уровне отдельной страницы, как её индексировать и как показывать в результатах поиска. Это мета-тег, который несёт отдельные директивы, такие как noindex, nofollow и max-snippet, - и одновременно зонтичное понятие для всего этого семейства правил уровня страницы.
Почему это важно
Если robots.txt управляет доступом краулеров на уровне сайта, то мета-тег robots даёт точный, постраничный контроль над индексацией и видом в результатах. Он отвечает и за "должна ли эта страница вообще индексироваться" - убирая страницы входа или благодарности из результатов с помощью noindex, - и за "как она должна выглядеть" - ограничивая длину сниппета через max-snippet. Эта двойная роль делает его одним из самых часто используемых инструментов в техническом SEO.
Основные директивы
Вот основные директивы, которые поддерживает Google:
| Директива | Значение |
|---|---|
all | Без ограничений (значение по умолчанию) |
noindex | Исключить страницу из результатов поиска |
nofollow | Не переходить по ссылкам на странице |
none | Эквивалент noindex, nofollow |
nosnippet | Не показывать текстовый сниппет или превью видео |
max-snippet:[число] | Ограничить текстовый сниппет числом символов |
max-image-preview:[настройка] | Задать размер превью изображения (none, standard, large) |
max-video-preview:[число] | Ограничить превью видео числом секунд |
noimageindex | Не индексировать изображения на странице |
notranslate | Не предлагать перевод в результатах |
indexifembedded | Разрешить индексацию при встраивании через iframe несмотря на noindex |
unavailable_after:[дата] | Убрать страницу из результатов после указанной даты |
Несколько директив можно комбинировать через запятую:
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="max-snippet:120, max-image-preview:large">
Как это настроить
name="robots" применяется ко всем краулерам, тогда как конкретный user agent, например name="googlebot", нацелен на один краулер. При конфликте правил побеждает более ограничительное: страница, у которой есть и max-snippet:50, и nosnippet, получает nosnippet.
Для файлов, не являющихся HTML, - таких как PDF и изображения, куда нельзя вставить мета-тег, - те же директивы передаются через HTTP-заголовок ответа X-Robots-Tag.
Самая частая ошибка - путать его с блокировкой в robots.txt. Если сканирование заблокировано в robots.txt, поисковые системы не могут открыть страницу и потому никогда не увидят мета-тег robots - так что директива noindex будет проигнорирована. Любая страница, которую вы хотите закрыть через noindex, должна оставаться доступной для сканирования.
Контроль сниппетов в эпоху AI
Изначально nosnippet и max-snippet касались подрезки сниппетов в результатах, но с распространением AI-поиска их значение расширилось. В документации Google теперь сказано, что эти средства контроля применяются к веб-поиску, Картинкам и Discover, а также к AI Overviews и AI Mode. Объявление nosnippet также блокирует использование контента как прямого входа для AI-ответов, а max-snippet ограничивает, сколько из него может быть процитировано.
Иными словами, мета-тег robots превратился из "сколько строк показать в выдаче" в "какую долю моего контента могут использовать AI-ответы". Держите в уме компромисс: чем жёстче ограничение, тем менее видимым становится ваш контент в поисковых сценариях на базе AI.
Источники:
- Robots Meta Tags Specifications - Google Search Central
- AI Features and Your Website - Google Search Central
Чем помогает inblog
inblog управляет мета-тегами robots автоматически, поэтому обычным постам не нужна дополнительная настройка. Если пост должен оставаться вне результатов поиска, используйте настройку noindex для конкретного поста. Для большинства блогов значения по умолчанию - правильный выбор для остальных директив, а если цель - наращивать видимость в AI-поиске, выгоднее не ограничивать сниппеты.