robots.txt는 문 앞 표지판이고, llms.txt는 안내 데스크입니다
robots.txt는 1994년에 만들어진 표준 파일입니다. "이 경로는 크롤링해도 됩니다, 이 경로는 하지 마세요"를 지정합니다. 크롤러가 사이트에 도착하자마자 읽는 파일입니다.
llms.txt는 2024년에 등장한 새 표준입니다. "우리 사이트가 무엇을 하는 곳이고, 핵심 페이지는 어디이며, 어떤 서비스를 제공하는지"를 AI에게 직접 설명합니다.
역할 비교
| 항목 | robots.txt | llms.txt |
|---|---|---|
| 목적 | 크롤링 허용·차단 | AI에게 사이트 맥락 전달 |
| 형식 | 지시어 기반 텍스트 | 마크다운 자연어 |
| 대상 | 모든 크롤러 | AI 언어 모델 크롤러 |
| 등장 시기 | 1994년 | 2024년 |
| 없으면 | 전체 크롤링 허용으로 간주 | AI가 사이트를 직접 탐색 |
robots.txt만으로 충분하지 않은 이유
robots.txt는 "어디를 가도 되는지"만 알려줍니다. "거기서 무엇을 봐야 하는지"는 말하지 않습니다.
AI 크롤러는 접근 가능한 모든 페이지를 동등하게 취급합니다. 서비스 핵심 페이지와 오래된 이벤트 공지 페이지를 같은 비중으로 읽습니다. llms.txt가 있으면 AI에게 "이 페이지가 핵심이고, 저 페이지는 참고용이다"라는 우선순위를 전달할 수 있습니다.
llms.txt만으로 충분하지 않은 이유
llms.txt는 크롤링 자체를 제어하지 않습니다. 민감한 관리자 페이지, 중복 콘텐츠, 개인정보 관련 페이지는 여전히 robots.txt로 차단해야 합니다.
또한 일반 검색 크롤러(Googlebot 등)는 llms.txt를 읽지 않습니다. 기존 SEO를 위한 robots.txt 설정은 그대로 유지해야 합니다.
실제 설정 예시
올바른 robots.txt에는 GPTBot, ClaudeBot, PerplexityBot 같은 AI 전용 크롤러를 명시적으로 허용하는 줄이 포함되어야 합니다. 많은 사이트가 AI 크롤러를 차단하거나 명시적 허용 없이 방치하고 있습니다.
치로는 두 파일을 함께 설계합니다. robots.txt에서 AI 크롤러를 허용하고, llms.txt에서 사이트 핵심을 전달하는 구조가 AI 검색 최적화의 기반입니다. 치로웹디자인의 SEO·AEO 서비스에서 두 파일의 설계와 적용을 함께 진행합니다.
자주 묻는 질문
llms.txt는 구글 검색 순위에도 영향을 주나요? 직접적인 순위 신호는 아닙니다. 그러나 구글 AI Overview가 llms.txt를 참조하기 시작했다는 보고가 있습니다. AI Overview 인용이 트래픽에 영향을 주므로 간접 효과는 있습니다.
AEO가 무엇인지 처음 접한다면 어디서 시작해야 하나요? AEO 개념 소개 글에서 기초 개념을 먼저 확인하는 것을 권장합니다.