llms.txt란 무엇인가
llms.txt는 2024년 앤스로픽의 Jeremy Howard가 제안한 새로운 웹 표준 파일입니다. 사이트 루트에 /llms.txt 경로로 배치하며, AI 언어 모델(LLM) 크롤러가 사이트의 핵심 정보를 효율적으로 파악할 수 있도록 구조화된 마크다운 형식으로 작성합니다.
2026년 현재 GPTBot(ChatGPT), ClaudeBot(Claude), PerplexityBot, Google-Extended(Gemini), Meta-ExternalAgent(Llama) 등 주요 AI 크롤러 5종 이상이 llms.txt를 인식합니다.
robots.txt와 llms.txt의 차이
robots.txt는 크롤러에게 접근 허용 여부를 지시하는 파일입니다. "이 경로는 크롤링하지 마라"는 식의 규칙을 정의합니다.
llms.txt는 접근 제어가 아닌 정보 전달이 목적입니다. AI 크롤러가 사이트의 모든 페이지를 직접 크롤링하는 대신, llms.txt 하나를 읽어 사이트 전체의 핵심 구조와 콘텐츠를 파악할 수 있습니다.
| 구분 | robots.txt | llms.txt |
|---|---|---|
| 목적 | 크롤링 접근 제어 | AI에게 사이트 정보 전달 |
| 형식 | 텍스트 (지시 규칙) | 마크다운 (구조화된 설명) |
| 등장 | 1994년 | 2024년 |
| 위치 | /robots.txt |
/llms.txt |
두 파일은 상호 보완 관계입니다. robots.txt에서 AI 크롤러 접근을 허용하고, llms.txt에서 크롤러에게 읽어야 할 핵심 정보를 제공하는 것이 최선의 조합입니다.
llms.txt 기본 구조
llms.txt는 마크다운 형식으로 작성합니다. 공식 스펙(llmstxt.org)이 정의하는 기본 구조는 다음과 같습니다.
# 회사명 또는 사이트명
> 사이트 설명 (2-3문장)
## 섹션명
- [페이지 제목](URL): 페이지 설명
## 섹션명 2
- [페이지 제목](URL): 페이지 설명
## Optional
- [보조 정보](URL): 설명
필수 요소는 세 가지입니다. H1 태그로 시작하는 사이트명, > 로 시작하는 사이트 설명, 그리고 주요 페이지들의 링크 목록입니다.
실제 llms.txt 작성 예시
다음은 치로웹디자인의 llms.txt 실제 구조입니다.
# 치로웹디자인
> 치로웹디자인은 서울 기반 웹 에이전시입니다. Next.js와 React를 사용한
> 커스텀 홈페이지 제작, SEO/AEO 최적화, 사이트 리뉴얼 서비스를 제공합니다.
> 모든 프로젝트에 Lighthouse 95점 이상, JSON-LD 구조화 데이터가 기본 적용됩니다.
## 서비스
- [홈페이지 제작](https://chiroweb.co.kr/services/website): Next.js 기반 커스텀 홈페이지 제작
- [SEO/AEO 최적화](https://chiroweb.co.kr/services/seo-aeo): 검색 최적화 및 AI 검색 대응
- [사이트 리뉴얼](https://chiroweb.co.kr/services/remodeling): 기존 사이트 성능 개선
- [요금 안내](https://chiroweb.co.kr/pricing): 서비스 패키지별 비용
## 포트폴리오
- [제작 사례](https://chiroweb.co.kr/portfolio): 치로웹디자인 제작 사이트 모음
## 인사이트
- [블로그](https://chiroweb.co.kr/blog): 웹 제작, SEO, AEO 관련 기술 아티클
## 회사 정보
- [소개](https://chiroweb.co.kr/about): 치로웹디자인 소개 및 제작 철학
- [문의](https://chiroweb.co.kr/contact): 프로젝트 상담 및 견적 요청
## Optional
- [무료 사이트 진단](https://chiroweb.co.kr/free-diagnosis): Core Web Vitals, SEO 무료 점검
이 파일을 읽은 AI 크롤러는 치로웹디자인이 어떤 서비스를 제공하는 회사인지, 어떤 페이지들이 있는지, 각 페이지에서 무엇을 다루는지 파악합니다.
llms.txt를 Next.js에 적용하는 방법
Next.js 프로젝트에서는 public/llms.txt 경로에 파일을 배치하면 자동으로 /llms.txt URL로 서빙됩니다.
/public
llms.txt
robots.txt
sitemap.xml
동적 콘텐츠(블로그 글, 포트폴리오 등)가 많은 경우 Next.js App Router의 Route Handler를 사용해 llms.txt를 동적으로 생성할 수 있습니다.
// app/llms.txt/route.ts
export async function GET() {
const posts = await getBlogPosts();
const content = generateLlmsTxt(posts);
return new Response(content, {
headers: { 'Content-Type': 'text/plain' },
});
}
빌더(아임웹, 카페24)에서는 루트 경로에 커스텀 파일을 배치할 수 없기 때문에 llms.txt 생성이 불가능합니다. 이 파일의 존재 자체가 커스텀 코드로 개발된 사이트의 장점 중 하나입니다.
llms.txt.md — 확장 버전
llms.txt의 확장 파일인 llms-full.txt 또는 llms.txt.md는 더 상세한 내용을 포함합니다. 주요 서비스의 전체 설명, 자주 묻는 질문 전문, 회사 이력 등을 담습니다. AI 크롤러가 단일 파일에서 더 많은 정보를 얻을 수 있습니다.
공식 스펙에서는 llms.txt를 요약본, llms-full.txt를 상세본으로 구분합니다. 두 파일을 모두 제공하는 것이 권장됩니다.
robots.txt에서 AI 크롤러 설정
llms.txt와 함께 robots.txt에서 AI 크롤러의 접근을 명시적으로 허용해야 합니다.
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Meta-ExternalAgent
Allow: /
User-agent: Applebot-Extended
Allow: /
이 설정 없이는 일부 AI 크롤러가 사이트를 적극적으로 크롤링하지 않습니다. SEO/AEO 두 측면 모두에서 크롤러 접근 허용이 필수입니다.
치로웹디자인의 SEO/AEO 서비스는 llms.txt 생성, robots.txt AI 크롤러 설정, JSON-LD 구조화 데이터를 포함한 전체 AEO 세팅을 제공합니다.
llms.txt의 SEO 효과
llms.txt는 Google, 네이버 같은 전통 검색 엔진에 직접적인 순위 영향을 주지 않습니다. AI 검색 엔진에 특화된 파일입니다.
효과는 두 가지입니다. 첫째, AI 검색에서 내 사이트가 관련 질문에 인용될 확률이 높아집니다. 둘째, AI가 내 브랜드와 서비스를 정확하게 요약하는 능력이 향상됩니다.
AEO(Answer Engine Optimization)에 대한 전체 가이드에서 AI 검색 최적화의 전체 그림을 확인할 수 있습니다.
FAQ
Q. llms.txt가 없으면 AI 검색에 노출이 안 되나요?
llms.txt가 없어도 AI 크롤러는 사이트를 크롤링합니다. 하지만 수백 개의 페이지를 일일이 크롤링하는 것보다 잘 작성된 llms.txt 하나를 읽는 것이 훨씬 효율적입니다. AI가 사이트를 더 정확하게 이해하고, 관련 질문에 인용할 가능성이 높아집니다.
Q. llms.txt는 얼마나 자주 업데이트해야 하나요?
새로운 서비스를 추가하거나, 주요 페이지 URL이 변경되거나, 블로그 글이 누적될 때 업데이트합니다. 월 1회 점검 주기를 권장합니다. Next.js Route Handler로 동적 생성할 경우 콘텐츠 추가 시 자동 반영됩니다.
Q. 아임웹에서 llms.txt를 만들 수 없다면 대안이 있나요?
아임웹 빌더에서는 루트 경로에 커스텀 파일을 배치할 수 없습니다. 일부 사례에서 HTML 파일로 우회하는 방법이 시도되었지만, 표준 형식이 아니라 AI 크롤러가 인식하지 못합니다. llms.txt를 제대로 적용하려면 코드 접근이 필요한 커스텀 개발이 필요합니다.
Q. llms.txt를 만든 후 AI 크롤러가 읽었는지 확인하는 방법이 있나요?
서버 로그에서 GPTBot, ClaudeBot, PerplexityBot의 접근 기록을 확인할 수 있습니다. Vercel 배포 환경에서는 Analytics에서 bot 트래픽을 확인 가능합니다. 또한 ChatGPT나 Perplexity에서 회사명을 검색해 인용 정확도가 개선됐는지 주기적으로 점검하는 방법도 있습니다.