Content Signals
Content Signals - это стандарт политики, который расширяет robots.txt и позволяет в машиночитаемой форме заявить, для какого использования предпочтительно применять забранный краулером контент: поиск (search), ответы ИИ (ai-input) или обучение ИИ (ai-train). Он был представлен Cloudflare 24 сентября 2025 года.
Content Signals - это стандарт политики, который расширяет robots.txt и позволяет в машиночитаемой форме заявить, для какого использования предпочтительно применять забранный краулером контент: поиск (search), ответы ИИ (ai-input) или обучение ИИ (ai-train). Он был представлен Cloudflare 24 сентября 2025 года.
Почему это важно
Прежний robots.txt мог выразить лишь то, "какой краулер к какому пути может обращаться", но не охватывал того, как используется забранный контент. Проблема в том, что один краулер совмещает несколько назначений. Например, Google использует один и тот же краулер и для индексации поиска, и для функций ИИ, поэтому при подходе с полной блокировкой ИИ-краулера был невозможен выбор "сохранить показ в поиске, но отказать только в обучении ИИ". Content Signals закрывает этот пробел, позволяя заявлять предпочтения не по субъекту доступа, а по назначению использования. Это стандарт, занимающий одну из осей дискуссии о том, как владельцу контента вернуть себе контроль в эпоху ИИ.
Три сигнала и способ записи
- search: построение поискового индекса и выдача результатов поиска. Не включает сгенерированные ИИ сводки.
- ai-input: подача контента в ИИ-модель для генерации ответа в реальном времени (граундинг, RAG и т. п.).
- ai-train: использование для обучения или дообучения ИИ-модели.
Запись ведётся внутри robots.txt в формате yes/no через запятую.
Content-Signal: search=yes, ai-input=yes, ai-train=no
User-Agent: *
Allow: /
Если сигнал опустить, это считается отсутствием выраженного предпочтения по данному назначению. Cloudflare применила значения по умолчанию search=yes, ai-train=no к более чем 3,8 миллиона доменов, использующих управляемый robots.txt, а ai-input оставила пустым, чтобы оператор задал его сам.
Ограничения и взгляд GEO
Content Signals - это заявление предпочтения, а не техническое средство блокировки, поэтому он не остановит краулера, который его игнорирует. Тем не менее как явное волеизъявление в машиночитаемой форме он может стать основанием в будущих спорах вокруг использования контента, и Cloudflare изначально проектировала его в расчёте на совместное применение с принудительными средствами вроде блокировки ботов и Pay Per Crawl. С точки зрения GEO ключевое в том, что ai-input - обоюдоострый меч. Если цель - быть процитированным в ответах ИИ, то в момент отказа от ai-input исчезает сама возможность попасть в ответ через ИИ-краулинг. Поэтому для сайтов, чья цель - видимость бренда, обычна конфигурация, при которой сохраняют search=yes, ai-input=yes и выборочно отказывают только в ai-train.
Источники:
Как помогает inblog
Цель большинства блогов, публикуемых в inblog, - показ как в поиске, так и в ответах ИИ, поэтому при применении Content Signals естественна конфигурация, оставляющая открытыми search и ai-input. Если с помощью собственной аналитики inblog отслеживать привлечение из ИИ-каналов, можно по данным проверить, ведёт ли решение разрешить ai-input к реальному трафику, а интеграция с GSC позволяет управлять и показами в поиске на одном экране.