llms.txt
llms.txt는 웹사이트 루트 경로(`/llms.txt`)에 위치하는 마크다운 형식의 텍스트 파일로, ChatGPT·Claude·Gemini 등 대규모 언어 모델(LLM)이 해당 사이트의 핵심 콘텐츠를 빠르고 정확하게 파악할 수 있도록 안내하는 역할을 합니다.
llms.txt는 웹사이트 루트 경로(/llms.txt)에 위치하는 마크다운 형식의 텍스트 파일로, ChatGPT·Claude·Gemini 등 대규모 언어 모델(LLM)이 해당 사이트의 핵심 콘텐츠를 빠르고 정확하게 파악할 수 있도록 안내하는 역할을 합니다.
왜 중요한가
전통적인 검색 엔진은 크롤러가 사이트 전체를 순회하며 페이지를 색인합니다. 그러나 LLM 기반 AI 검색에서는 모델이 사용자 질문에 답변을 생성할 때 참조할 콘텐츠를 선별하는 과정이 핵심입니다. llms.txt는 이 과정에서 "우리 사이트에서 가장 중요한 정보는 여기에 있습니다"라고 AI에게 직접 알려주는 콘텐츠 가이드 역할을 합니다.
생성형 엔진 최적화(GEO, Generative Engine Optimization) 관점에서 보면, 사용자가 웹사이트를 직접 방문하지 않더라도 AI가 생성하는 답변 속에 자사 콘텐츠가 반영될 수 있습니다. llms.txt를 통해 AI 모델에 정확한 정보를 제공하면, 브랜드가 AI 답변에서 올바르게 표현될 가능성이 높아집니다. 2024년 Answer.AI의 Jeremy Howard가 제안한 이후, Anthropic, Cursor 등 주요 기업이 채택하면서 빠르게 확산되고 있으며, 2026년 2월 기준 약 10%의 도메인이 llms.txt를 도입한 것으로 조사되었습니다.
llms.txt의 구조와 형식
llms.txt는 마크다운(Markdown) 문법을 사용합니다. LLM이 마크다운을 자연스럽게 해석할 수 있기 때문입니다. 공식 명세에 따른 구조는 다음과 같습니다.
- H1 헤더 (필수): 프로젝트 또는 사이트 이름
- 인용 블록(blockquote) (선택): 프로젝트에 대한 한 줄 요약
- 자유 형식 본문 (선택): 프로젝트에 대한 추가 설명 (H2 이외의 마크다운)
- H2 섹션 + 파일 목록 (선택): 주제별로 그룹화한 핵심 URL 목록
## Optional섹션 (선택): 컨텍스트 길이 제한 시 생략 가능한 보조 링크
아래는 실제 작성 예시입니다.
# inblog
> SEO 최적화 블로그 플랫폼. 블로그 생성·관리·퍼블리싱을 제공합니다.
## 가이드
- [시작하기](https://docs.inblog.ai/start): 블로그 생성부터 첫 글 발행까지
- [SEO 설정](https://docs.inblog.ai/seo): 검색 엔진 최적화 가이드
## API 레퍼런스
- [REST API](https://docs.inblog.ai/api): 엔드포인트 목록 및 사용법
## Optional
- [변경 로그](https://docs.inblog.ai/changelog): 최근 업데이트 내역
각 링크는 [이름](URL): 설명 형식을 따르며, 콜론 뒤의 설명은 선택 사항입니다.
robots.txt와의 차이
robots.txt와 llms.txt는 이름이 유사하지만 목적이 완전히 다릅니다.
| 항목 | robots.txt | llms.txt |
|---|---|---|
| 목적 | 크롤러의 접근을 허용하거나 차단합니다 | AI 모델에게 핵심 콘텐츠를 안내합니다 |
| 형식 | 디렉티브 기반 (User-agent, Disallow) | 마크다운 기반 (H1, H2, 링크 목록) |
| 대상 | 검색 엔진 크롤러 (Googlebot 등) | LLM 및 AI 에이전트 (GPTBot, ClaudeBot 등) |
| 기능 | 크롤링 제어 (차단/허용) | 콘텐츠 추천 (가이드/안내) |
| 관계 | 대체 관계가 아닙니다 | robots.txt와 함께 사용합니다 |
즉, robots.txt가 "여기는 오지 마세요"라고 말하는 접근 제어 파일이라면, llms.txt는 "여기에 중요한 정보가 있습니다"라고 말하는 콘텐츠 지도입니다. 두 파일은 상호 보완적이며, AI 크롤링을 차단하려면 robots.txt에서 GPTBot, ClaudeBot, Google-Extended 등의 User-Agent를 Disallow로 설정해야 합니다.
설정 가이드
llms.txt를 웹사이트에 적용하는 절차는 다음과 같습니다.
- 핵심 콘텐츠 선별: AI가 참조했으면 하는 페이지를 선별합니다. 제품 소개, 문서, 가이드, FAQ 등 브랜드를 대표하는 페이지가 우선입니다.
- 파일 작성: 위의 구조에 맞춰 마크다운 파일을 작성합니다. H1에 사이트 이름, blockquote에 한 줄 요약, H2 섹션 아래에 URL 목록을 배치합니다.
- 루트 경로에 배포: 작성한 파일을
https://yourdomain.com/llms.txt경로에서 접근할 수 있도록 배포합니다. - llms-full.txt 추가 (선택): 요약 버전인 llms.txt 외에, 전체 문서 내용을 포함한
llms-full.txt를 함께 제공하면 AI가 더 깊은 컨텍스트를 확보할 수 있습니다. - 정기 업데이트: 콘텐츠가 추가되거나 URL이 변경될 때마다 llms.txt를 갱신합니다. 오래된 링크는 AI의 답변 품질을 저하시킬 수 있습니다.
llms.txt는 아직 IETF나 W3C의 공식 웹 표준은 아니지만, AI 검색이 일반화되는 흐름 속에서 빠르게 채택이 늘어나고 있는 사실상의 표준(de facto standard)입니다. GEO 전략을 준비하는 웹사이트라면 조기에 도입을 검토하는 것이 유리합니다.
관련 인블로그 게시물
inblog에서 활용하기
inblog는 각 블로그에 대해 llms.txt를 자동 생성하여 AI 모델이 사이트 구조를 빠르게 파악하도록 지원합니다.