X-Robots-Tag(X-로봇 태그)란? | SEO 용어집

X-Robots-Tag는 HTTP 응답 헤더를 통해 검색 엔진의 크롤링·인덱싱 동작을 제어하는 방법입니다. HTML 페이지에 <meta name="robots"> 태그를 넣는 대신, 서버가 응답할 때 X-Robots-Tag: noindex처럼 헤더에 같은 지시를 직접 실어 보냅니다.

왜 중요한가

HTML 메타 태그는 HTML 파일에만 들어갈 수 있습니다. PDF, 이미지, 동영상, JSON API 응답처럼 HTML이 아닌 리소스는 <meta> 태그를 사용할 수 없어 인덱싱 제어가 어렵습니다. X-Robots-Tag는 모든 HTTP 응답에 적용할 수 있어 이 공백을 메웁니다. Search Engine Land 사례를 보면 전자 상거래 사이트가 수만 개의 PDF 카탈로그가 구글에 색인되어 중복 콘텐츠로 랭킹 손실을 겪었고, X-Robots-Tag로 한 번에 해결한 예가 있습니다.

X-Robots-Tag vs Meta Robots vs robots.txt

방법	위치	작동 범위	크롤링 허용 여부
robots.txt	`/robots.txt` 파일	URL 패턴	크롤링 자체를 차단
Meta Robots	HTML `<head>`	해당 HTML 페이지	크롤링은 허용, 인덱싱만 제어
X-Robots-Tag	HTTP 응답 헤더	모든 리소스 타입	크롤링은 허용, 인덱싱만 제어

핵심 차이: robots.txt는 '크롤링 금지', Meta Robots/X-Robots-Tag는 '인덱싱 금지'입니다. 인덱싱을 막으려면 반드시 구글봇이 페이지에 접근해 지시를 읽을 수 있어야 합니다. robots.txt로 차단하면 구글이 페이지 자체를 크롤링하지 못해 인덱싱 차단 지시도 읽을 수 없습니다.

주요 지시어

지시어	의미
`noindex`	검색 결과에 표시하지 않음
`nofollow`	페이지의 링크를 따라가지 않음
`none`	`noindex, nofollow`와 동일
`noarchive`	검색 결과에 캐시 링크 제공 안 함
`nosnippet`	검색 결과에 스니펫·썸네일 표시 안 함
`unavailable_after: [date]`	지정 날짜 이후 인덱싱 제거
`max-snippet: [n]`	스니펫 최대 글자 수 제한
`max-image-preview: [setting]`	이미지 미리보기 크기 제한
`max-video-preview: [n]`	동영상 미리보기 길이 제한

사용 예시

PDF 파일 인덱싱 차단 (Apache .htaccess):

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

이미지 디렉터리 차단 (Nginx):

location /private-images/ {
  add_header X-Robots-Tag "noindex";
}

특정 크롤러에만 지시 (Googlebot만 차단):

X-Robots-Tag: googlebot: noindex

특정 페이지 기한 인덱싱:

X-Robots-Tag: unavailable_after: 31 Dec 2026 23:59:59 GMT

실무 주의사항

robots.txt와 충돌 주의: robots.txt로 크롤링을 막은 URL에 X-Robots-Tag를 설정해도 구글은 헤더를 읽지 못합니다. 인덱싱을 차단하려면 robots.txt에서는 허용하고 X-Robots-Tag로 noindex를 지정해야 합니다.

서버 설정 필요: 메타 태그와 달리 웹 서버(Apache, Nginx, Cloudflare Workers 등) 레벨의 설정이 필요합니다. CMS에서 자동 처리되지 않는 경우가 많습니다.

검증: Google Search Console의 URL 검사 도구나 curl -I https://example.com/file.pdf로 응답 헤더를 확인해 실제로 X-Robots-Tag가 노출되는지 점검합니다.

Sources:

inblog에서 활용하기

inblog 블로그에서 첨부 파일(PDF 리소스, 이미지 갤러리)을 검색 결과에서 빼고 싶을 때 서버 수준에서 X-Robots-Tag를 적용하면 HTML에 메타 태그를 넣을 수 없는 리소스도 안전하게 noindex 처리됩니다. 사용자 대면 블로그 포스트는 기본 인덱싱을 유지하고, 파생 리소스만 선별적으로 색인에서 제외할 수 있습니다.

X-Robots-Tag