graph TD
A["AI 에이전트<br/>(Cursor / Continue / Perplexity)"]
B["사이트 루트<br/>/llms.txt"]
C["llms.txt 내부<br/>마크다운 링크 트리"]
D["원본 문서들<br/>.md 파일"]
A -->|"1. fetch"| B
B --> C
A -->|"2. 필요한 링크만 follow"| D
사이트 루트의 /llms.txt 파일에 마크다운 링크 트리 형식으로 사이트의 핵심 문서 목록을 둔다. AI 에이전트는 이 파일을 가장 먼저 읽어 사이트 구조를 파악하고, 필요한 링크만 골라 본문을 가져간다.
형식 예시
# Anthropic Docs> Anthropic은 안전성과 연구를 중심으로 한 AI 회사다.## Docs- [Get started with the Claude API](https://docs.anthropic.com/en/api/getting-started.md)- [Models overview](https://docs.anthropic.com/en/docs/models-overview.md)## Optional- [Glossary](https://docs.anthropic.com/en/docs/glossary.md)
변형 — llms-full.txt
/llms-full.txt는 모든 문서를 단일 파일로 통합한 버전이다. 컨텍스트 윈도우가 충분히 큰 LLM이 통째로 로드해 처리할 수 있다.
장단점
장점
단점
표준화되어 있음 (llmstxt.org 사양)
주요 LLM 크롤러(OpenAI/Anthropic)는 아직 적극 활용 안 함
정적 사이트에 추가하기 쉬움
수동 관리하면 사이트 구조 변경 시 동기화 부담
Mintlify·Docusaurus 자동 생성 지원
”공개 사이트” 전제 — 개인 로컬 vault에는 부적합
Cursor·Continue·Perplexity가 활용
결국 본문도 마크다운으로 노출해야 함 (page.md 별도 발행)
실제 채택 사례
사이트
비고
docs.anthropic.com
/llms.txt, /llms-full.txt 둘 다 운영
docs.stripe.com
llms.txt 운영
cloudflare.com
llms.txt 운영
mintlify.com
자체 플랫폼에서 자동 생성
채택 현황: 2025-10 기준 약 84만 사이트 (directory.llmstxt.cloud 집계).
2. AGENTS.md / CLAUDE.md — 에이전트 지침 파일
동작 원리
graph TD
A["코딩 에이전트<br/>세션 시작"]
B{"저장소 루트<br/>스캔"}
C["AGENTS.md<br/>(범용)"]
D["CLAUDE.md<br/>(Claude Code)"]
E[".cursor/rules/*.mdc<br/>(Cursor)"]
A --> B
B --> C
B --> D
B --> E
C -->|"세션 컨텍스트에<br/>자동 로드"| F["LLM 호출에 항상 포함"]
D --> F
E --> F
에이전트는 세션을 시작할 때 저장소 루트의 지침 파일들을 자동으로 시스템 프롬프트에 주입한다. 이 파일들은 “이 저장소에서는 어떤 명령을 실행하면 안 된다”, “이 코딩 스타일을 따라라”, “이 폴더 구조를 지켜라” 같은 지침을 담는다.
일반적인 AGENTS.md 구조
# AGENTS.md## Project context간단한 프로젝트 설명. 기술 스택.## Build & test```bashnpm installnpm test
Code style
들여쓰기 2 스페이스
함수형 우선
React: 컴포넌트는 PascalCase
Conventions
커밋 메시지: Conventional Commits
PR 타이틀: [scope] description
Don’t
npm publish 실행 금지
main 브랜치 직접 push 금지
### 도구별 파일 비교
| 파일 | 적용 범위 | 우선순위 | 특이사항 |
|---|---|---|---|
| **AGENTS.md** | 범용 마스터 | 최상위 | OpenAI/Google/Vercel/Anthropic 공동 지지 |
| **CLAUDE.md** | Claude Code 전용 | AGENTS.md보다 후순위 권장 | 심링크로 AGENTS.md 가리키는 패턴 권장 |
| **.cursor/rules/*.mdc** | Cursor IDE | 글롭 패턴별 적용 | 파일 패턴(`*.ts`)에 따라 다른 규칙 적용 |
| **GEMINI.md** | Gemini CLI | — | Google 전용 |
| **.windsurfrules** | Windsurf | — | Codeium 전용 |
### 권장 패턴 — 심링크로 단일 진실 소스 유지
```bash
# Unix/macOS
ln -s AGENTS.md CLAUDE.md
ln -s AGENTS.md GEMINI.md
# Windows (PowerShell, 관리자 필요)
New-Item -ItemType SymbolicLink -Path CLAUDE.md -Target AGENTS.md
장단점
장점
단점
에이전트가 자동 로드 — 매번 알려줄 필요 없음
너무 길면 컨텍스트 낭비 (보통 1~3K 토큰 권장)
표준 수렴 진행 중 (AGENTS.md)
도구별 차이 여전히 존재
위키뿐 아니라 코드베이스 전반에 적용
자주 갱신 안 하면 stale
실제 채택 사례
OpenAI의 codex 저장소들 — AGENTS.md 사용
Vercel의 v0 관련 저장소 — AGENTS.md 가이드 공식 발행
Anthropic의 anthropic-cookbook — CLAUDE.md 사용
수많은 오픈소스 — AGENTS.md/CLAUDE.md 채택 확산 중
3. Karpathy LLM Wiki — 개인 위키 패턴
동작 원리
Andrej Karpathy가 2026-04-04 GitHub Gist로 공개한 패턴이다. RAG 없이 순수 마크다운 파일을 컨텍스트 윈도우에 직접 로드한다.
graph TD
subgraph 폴더["폴더 구조"]
Raw["raw/<br/>(불변 소스)"]
Wiki["wiki/<br/>(LLM이 작성·관리)"]
Claude["CLAUDE.md<br/>(스키마 + 지침)"]
Log["log.md<br/>(작업 이력)"]
end
User["사용자"] -->|"새 자료 투입"| Raw
Raw -->|"Ingest"| Agent["LLM 에이전트"]
Agent -->|"구조화하여 작성"| Wiki
Agent -->|"기록"| Log
Claude -->|"매 세션 로드"| Agent
User -->|"질문"| Agent
Wiki -->|"Query"| Agent
폴더 구조
my-wiki/
├── CLAUDE.md # 스키마, 폴더 규칙, 에이전트 지침
├── log.md # 작업 이력 (에이전트가 누적 기록)
├── raw/ # 불변 소스
│ ├── papers/ # PDF, 논문 텍스트
│ ├── urls.md # 북마크
│ └── notes/ # 손으로 쓴 메모
└── wiki/ # LLM이 정돈한 구조화 페이지
├── topic-a.md
└── topic-b.md
에이전트의 3가지 작업
작업
입력
출력
Ingest
raw/ 신규 자료
wiki/ 페이지 생성·갱신
Query
사용자 질문
wiki/ 검색 후 답변
Lint
전체 wiki/
중복·모순·stale 항목 리포트
Karpathy의 주장
“개인 위키 규모(수백~수천 파일)에서는 RAG보다 70배 효율적이다. 임베딩·벡터 DB·청크 전략을 모두 우회하고, 그냥 마크다운을 컨텍스트에 넣으면 된다.”
핵심은 컨텍스트 윈도우가 100K~1M 토큰으로 커지면서 개인 규모 지식은 통째로 로드 가능해졌다는 점이다.