메타 로봇 태그
메타 로봇 태그(robots meta tag)는 HTML <head> 영역에 삽입하는 <meta name="robots"> 태그로, 특정 페이지를 검색엔진이 어떻게 색인하고 검색 결과에 표시할지 페이지 단위로 지시하는 메타 태그입니다. noindex, nofollow, max-snippet 같은 개별 디렉티브들을 담는 그릇이며, 이 디렉티브 전반을 묶어 부르는 우산 개념이기도 합니다.
메타 로봇 태그(robots meta tag)는 HTML <head> 영역에 삽입하는 <meta name="robots"> 태그로, 특정 페이지를 검색엔진이 어떻게 색인하고 검색 결과에 표시할지 페이지 단위로 지시하는 메타 태그입니다. noindex, nofollow, max-snippet 같은 개별 디렉티브들을 담는 그릇이며, 이 디렉티브 전반을 묶어 부르는 우산 개념이기도 합니다.
왜 중요한가
robots.txt가 사이트 차원에서 크롤러의 접근을 제어한다면, 메타 로봇 태그는 페이지 하나하나의 색인 여부와 검색 결과 표시 방식을 정밀하게 제어합니다. 로그인 페이지나 감사 페이지를 검색 결과에서 빼는 것(noindex), 스니펫에 표시될 텍스트 분량을 제한하는 것(max-snippet)처럼 "색인 제어"와 "노출 형태 제어"를 모두 담당하기 때문에, 기술 SEO에서 가장 자주 다루는 도구 중 하나입니다.
주요 디렉티브
Google이 지원하는 대표적인 디렉티브는 다음과 같습니다.
| 디렉티브 | 의미 |
|---|---|
all | 제한 없음(기본값) |
noindex | 페이지를 검색 결과에서 제외 |
nofollow | 페이지 내 링크를 따라가지 않음 |
none | noindex, nofollow와 동일 |
nosnippet | 텍스트 스니펫·비디오 미리보기를 표시하지 않음 |
max-snippet:[숫자] | 텍스트 스니펫의 최대 글자 수 제한 |
max-image-preview:[설정] | 이미지 미리보기 크기 지정(none·standard·large) |
max-video-preview:[숫자] | 비디오 미리보기 최대 길이(초) 제한 |
noimageindex | 페이지 내 이미지를 색인하지 않음 |
notranslate | 검색 결과에서 번역 제안을 표시하지 않음 |
indexifembedded | noindex 페이지라도 iframe으로 삽입된 경우 색인 허용 |
unavailable_after:[날짜] | 지정 날짜 이후 검색 결과에서 제외 |
여러 디렉티브는 쉼표로 조합할 수 있습니다.
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="max-snippet:120, max-image-preview:large">
설정 방법과 주의사항
name="robots"는 모든 검색엔진 크롤러에 적용되며, name="googlebot"처럼 특정 크롤러만 지정할 수도 있습니다. 규칙이 충돌하면 더 제한적인 규칙이 적용됩니다. 예를 들어 max-snippet:50과 nosnippet이 함께 있으면 nosnippet이 우선합니다.
PDF나 이미지처럼 HTML이 아닌 파일에는 메타 태그를 넣을 수 없으므로, 동일한 디렉티브를 HTTP 응답 헤더인 X-Robots-Tag로 전달합니다.
가장 흔한 실수는 robots.txt 차단과의 혼용입니다. robots.txt로 크롤링을 막으면 검색엔진이 페이지를 열어볼 수 없어 메타 로봇 태그 자체를 읽지 못합니다. noindex를 적용하려는 페이지는 반드시 크롤링이 허용된 상태여야 합니다.
AI 시대의 스니펫 제어
원래 nosnippet과 max-snippet은 검색 결과 스니펫의 길이를 다듬는 용도였지만, AI 검색이 확산되면서 의미가 달라졌습니다. Google은 공식 문서에서 이 디렉티브들의 적용 범위를 웹 검색, 이미지, Discover뿐 아니라 AI Overviews(AI 개요)와 AI 모드까지로 명시했습니다. nosnippet을 선언하면 해당 콘텐츠가 AI 답변의 직접 입력으로 사용되는 것까지 차단되고, max-snippet은 AI가 인용할 수 있는 분량을 제한합니다.
즉 메타 로봇 태그는 이제 "검색 결과에 몇 줄 보여줄까"를 넘어 "내 콘텐츠가 AI 답변에 얼마나 쓰이게 할까"를 통제하는 수단이 되었습니다. 다만 제한을 강하게 걸수록 AI 검색에서의 노출 기회도 함께 줄어들 수 있으므로, 콘텐츠 보호와 가시성 사이의 트레이드오프를 따져 결정해야 합니다.
Sources:
- Robots Meta Tags Specifications - Google Search Central
- AI Features and Your Website - Google Search Central
inblog에서 활용하기
inblog는 robots 메타 태그를 자동으로 처리하므로 일반적인 포스트 발행에는 별도 설정이 필요 없습니다. 검색 결과에서 제외하고 싶은 포스트가 있다면 포스트별 noindex 설정을 사용하면 됩니다. 그 외의 세밀한 디렉티브는 대부분의 블로그 운영에서 기본값으로 충분하며, AI 검색 노출을 늘리는 것이 목표라면 스니펫 제한은 걸지 않는 편이 유리합니다.