llms.txt로 대비하는 AEO, GEO 시대

최근 몇 년 사이 검색 환경은 큰 변화를 겪고 있습니다. 그 중심에는 ChatGPT, Google의 AI Overview와 같은 생성형 AI 검색 서비스들이 자리 잡고 있습니다. AI가 직접 검색 결과에서 답변을 제공하는 경우가 많아지면서, 웹사이트의 중요한 콘텐츠가 AI에 제대로 노출되지 못하는 문제가 발생하고 있습니다.

이러한 문제를 해결하고 AI가 웹사이트의 핵심 콘텐츠를 더욱 효율적으로 읽고 학습할 수 있도록 도와주기 위해서, AI가 읽기 쉬운 형태의 웹사이트 색인 목차이자 요약 포맷으로써 제안된 것이 바로 llms.txt입니다.

llms.txt란 무엇인가?

llms.txt는 웹사이트의 루트(“/”)에 위치하는 간단한 마크다운 기반 파일로, AI 기반 검색엔진(LLM)이 크롤링 시 우선적으로 학습할 URL을 안내하는 역할을 합니다. 간단히 말하면, 웹사이트의 콘텐츠 중 AI가 꼭 알아야 할 중요 콘텐츠를 명시하여 AI가 이를 정확히 학습하고 인용할 수 있도록 도와주는 것입니다.

기존의 웹 표준이었던 사이트맵이 조금 더 AI 친화적인 형태로 진화한 것이라고 볼 수도 있겠습니다.

llms.txt 파일의 구조 예시 (공식 문서)

# FastHTML

> FastHTML is a python library which brings together Starlette, Uvicorn, HTMX, and fastcore's `FT` "FastTags" into a library for creating server-rendered hypermedia applications.

Important notes:

- Although parts of its API are inspired by FastAPI, it is *not* compatible with FastAPI syntax and is not targeted at creating API services
- FastHTML is compatible with JS-native web components and any vanilla JS library, but not with React, Vue, or Svelte.

## Docs

- [FastHTML quick start](https://fastht.ml/docs/tutorials/quickstart_for_web_devs.html.md): A brief overview of many FastHTML features
- [HTMX reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): Brief description of all HTMX attributes, CSS classes, headers, events, extensions, js lib methods, and config options

## Examples

- [Todo list application](https://github.com/AnswerDotAI/fasthtml/blob/main/examples/adv_app.py): Detailed walk-thru of a complete CRUD app in FastHTML showing idiomatic use of FastHTML and HTMX patterns.

## Optional

- [Starlette full documentation](https://gist.githubusercontent.com/jph00/809e4a4808d4510be0e3dc9565e9cbd3/raw/9b717589ca44cedc8aaf00b2b8cacef922964c0f/starlette-sml.md): A subset of the Starlette documentation useful for FastHTML development. 

왜 llms.txt가 등장하게 되었나?

기존의 웹사이트 콘텐츠는 AI 챗봇이나 검색 엔진이 정확하게 이해하고 학습하기에 한계가 있었습니다. 특히 HTML 기반의 웹 콘텐츠는 광고, 내비게이션, 자바스크립트 등 부수적인 정보가 섞여 있어 AI가 핵심 콘텐츠를 정확하게 추출하는 데 어려움을 겪었습니다.

이러한 배경에서 Answer.AI의 공동창업자인 Jeremy Howard가 2024년 9월 llms.txt 파일 포맷을 제안했습니다. 그 목적은 AI 검색 환경에서 웹사이트 콘텐츠의 정확한 인용과 학습 효율을 높이는 것입니다.

실제 도입 사례와 성과

llms.txt는 제안 이후 다양한 기업과 플랫폼에서 채택되며 빠르게 퍼지고 있습니다.

• Mintlify(기업용 AI 독스 SaaS 솔루션 개발사)는 llms.txt를 도입한 후 AI 콘텐츠 인용 정확도가 27% 상승하고 부정확한 인용 사례가 18% 감소했습니다.

  • Mintlify의 llms.txt 사례

• Cursor와 Bolt 같은 기술 플랫폼도 llms.txt를 채택하여 AI가 자사 콘텐츠를 정확히 학습하고 활용할 수 있도록 지원하고 있습니다.

  • Cursor의 llms.txt 사례

이러한 사례들은 llms.txt의 실제적인 효용과 효과를 잘 보여주고 있습니다.

앞으로의 전망과 준비해야 할 것들

llms.txt는 아직 초기 단계의 기술이지만, AI 검색 환경에서 점차 필수적인 표준이 될 가능성이 큽니다. 현재 ai.txt와 같은 유사한 파일 형식과의 표준 경쟁이 진행 중이지만, 중요한 점은 미리 대비하고 준비된 웹사이트들이 향후 AI 검색에서 큰 이점을 얻게 된다는 것입니다.

따라서 웹사이트 운영자는 llms.txt를 통해 AI 크롤러가 쉽게 접근할 수 있도록 핵심 콘텐츠를 전략적으로 배치하고 구조화해야 합니다.

FAQ

AI 기반 검색 환경에서 llms.txt의 활용은 웹사이트의 콘텐츠가 정확하고 효과적으로 전달될 수 있도록 돕는 중요한 전략입니다.

적극적으로 도입하여 AI 시대의 검색 환경에 미리 대비하세요.

[외부 참고 자료]

• llms.txt 공식 문서