2024년까지는 LLM이 위키 콘텐츠를 학습 단계에서만 활용했다. 2025년부터는 에이전트가 런타임에 위키를 직접 읽어 작업한다. Claude Code, Cursor, Codex, Gemini CLI 같은 코딩 에이전트는 매 세션마다 저장소 루트의 지침 파일을 읽어들이며, 검색 도구(RAG, MCP)로 위키 본문도 호출한다.
핵심은 LLM이 토큰을 적게 쓰고도 정확한 정보를 찾을 수 있도록 구조화하는 것이다. Fern의 분석에 따르면 Markdown은 같은 정보를 HTML 대비 80~90% 적은 토큰으로 표현한다.
3. 전체 지형 지도 — 6가지 카테고리
graph TD
Root["LLM-friendly 지식 베이스"]
Root --> A["A. 진입점 표준 파일"]
Root --> B["B. 에이전트 지침 파일"]
Root --> C["C. 작성 컨벤션"]
Root --> D["D. 검색·인덱싱<br/>(RAG)"]
Root --> E["E. 에이전트 접근 채널<br/>(MCP)"]
Root --> F["F. 통합 패턴"]
A --> A1["llms.txt"]
A --> A2["llms-full.txt"]
A --> A3["sitemap.xml<br/>+ robots.txt"]
B --> B1["AGENTS.md<br/>(범용 표준)"]
B --> B2["CLAUDE.md<br/>(Claude Code)"]
B --> B3[".cursor/rules/*.mdc<br/>(Cursor)"]
B --> B4["GEMINI.md<br/>(Gemini CLI)"]
C --> C1["frontmatter 메타데이터"]
C --> C2["heading 계층 일관성"]
C --> C3["청크 친화 단락"]
C --> C4["명시적 링크<br/>+ 약어 풀어쓰기"]
D --> D1["Semantic chunking"]
D --> D2["MarkdownHeaderTextSplitter"]
D --> D3["Hybrid search<br/>(BM25 + Vector)"]
D --> D4["Vector DB<br/>Chroma·LanceDB·Pinecone"]
E --> E1["filesystem MCP"]
E --> E2["obsidian-mcp-server"]
E --> E3["notion-mcp"]
E --> E4["memory MCP"]
F --> F1["Karpathy LLM Wiki<br/>(개인용)"]
F --> F2["Mintlify Docs<br/>(공개 사이트)"]
F --> F3["GraphRAG / LightRAG<br/>(대규모)"]
A. 진입점 표준 파일
LLM/에이전트가 “이 사이트에서 어디부터 읽어야 하는가”를 알려주는 진입 파일이다.
파일
위치
역할
제안 시점
llms.txt
사이트 루트 /llms.txt
사이트의 LLM용 목차(마크다운 링크 트리)
2024-09, Jeremy Howard
llms-full.txt
사이트 루트 /llms-full.txt
전체 문서를 단일 파일로 통합
2024-09, 같은 제안
sitemap.xml
사이트 루트 /sitemap.xml
전통적 SEO 사이트맵 (LLM도 활용)
—
현실: llms.txt는 2025-10 기준 84만+ 사이트가 채택했지만, OpenAI/Anthropic 같은 주요 LLM 크롤러는 아직 적극 활용하지 않는다. 실제 사용처는 Cursor·Continue 같은 IDE 에이전트와 Perplexity 같은 검색형 AI다.
B. 에이전트 지침 파일
저장소·프로젝트 단위에서 에이전트의 행동을 지시하는 파일이다.
파일
대상 에이전트
핵심
AGENTS.md
범용 (OpenAI Codex, Google, Anthropic, Cursor 공동 지지)
2025 중반 사실상 표준으로 수렴. 코딩 에이전트의 마스터 지침
CLAUDE.md
Claude Code, Claude Desktop
Anthropic 공식. AGENTS.md를 심링크로 두는 패턴 권장
.cursor/rules/*.mdc
Cursor IDE
세분화된 규칙 파일, 글롭 패턴별로 다른 규칙 적용 가능
GEMINI.md
Gemini CLI
Google 에이전트 전용
.windsurfrules
Windsurf
Codeium 에이전트 전용
권장 패턴: AGENTS.md를 단일 진실 소스(SSOT)로 두고 CLAUDE.md·GEMINI.md는 심링크로 연결한다.
C. 작성 컨벤션 (LLM-friendly Markdown)
문서 본문 자체를 LLM이 잘 파싱하도록 작성하는 규칙이다.
규칙
이유
frontmatter 필수 (title, description, date, tags)
청크 단위로 잘렸을 때도 문서 정체성 유지
H1 한 개, H2/H3 계층 일관성
MarkdownHeaderTextSplitter 같은 도구가 의미 단위로 청크 분할
한 섹션 = 한 개념
독립 청크로 잘려도 자체 완결
짧은 단락 (3~5문장)
토큰 효율, 임베딩 정밀도
약어 첫 등장 시 풀어쓰기
RAG(Retrieval-Augmented Generation)
코드 블록 언어 명시
```python (LLM이 언어 컨텍스트 보존)
명시적 링크
”위 문서” 대신 [3.5.2 방식별 비교](3.5.2.llmWikiComparison.md)
OpenAI/Google/Vercel/Cursor/Anthropic 공식 지지, GitHub 검색 시 수만 저장소
CLAUDE.md
Claude Code 사용자 저장소 다수
MCP 서버 공개
1,000+ 개 (modelcontextprotocol.io 디렉토리)
5. 세 가지 큰 흐름 — 어디로 가고 있는가
흐름 ① 표준 수렴 (AGENTS.md)
2024년까지 .cursorrules, .windsurfrules, CLAUDE.md 등 도구별 파편화가 심했다. 2025 중반 OpenAI 주도로 AGENTS.md가 단일 마스터 지침 파일로 합의되면서 수렴이 시작됐다. 도구별 파일은 AGENTS.md의 심링크 또는 확장으로 남는다.
흐름 ② RAG에서 컨텍스트 직접 로드로
LLM 컨텍스트 윈도우가 100K~1M 토큰으로 커지면서, 개인·소규모 위키는 RAG를 거치지 않고 통째로 로드하는 방식이 유리해졌다. Karpathy가 2026-04 공개한 LLM Wiki 패턴이 대표적이며, 그는 개인 위키 규모에서 RAG 대비 70배 효율이라고 평가했다.
graph TD
Old["~2024 패턴<br/>RAG 중심"]
New["2026 패턴<br/>이중화"]
Old --> O1["모든 위키 → 벡터 DB"]
Old --> O2["질문 → 청크 검색 → LLM"]
New --> N1["개인/소규모<br/>전체 → 컨텍스트 직접 로드"]
New --> N2["팀/대규모<br/>RAG + GraphRAG 유지"]
New --> N3["에이전트 접근<br/>MCP로 read/write"]
흐름 ③ 정적 사이트 + LLM 진입점
Mintlify, Docusaurus, MkDocs Material, Quartz 같은 정적 사이트 생성기에 llms.txt 자동 생성 기능이 표준 탑재되고 있다. 사람용 HTML과 LLM용 텍스트 진입점을 동시에 발행하는 패턴이 자리잡는 중이다.