Robots.txt 테스터 - 허용 또는 차단, 그리고 정확한 이유
robots.txt 파일은 쓰기는 쉽지만 추론하기는 어려워요. 이 테스터는 주어진 크롤러와 URL에 대해 중요한 유일한 질문에 답해요.
Robots.txt 테스터 사용법
- robots.txt 내용을 붙여넣으세요.
- 테스트할 전체 URL과 사용자 에이전트 이름(Googlebot, GPTBot, *)을 입력하세요.
- 이 URL 테스트를 클릭하세요.
- 판정과 그것을 만든 일치 규칙을 읽으세요.
작동 방식
매칭은 표준(RFC 9309, Google이 구현한 방식)을 따라요: 먼저 크롤러의 그룹이 선택돼요 - 가장 구체적으로 일치하는 사용자 에이전트 토큰을 명명하는 그룹이 * 그룹보다 이겨요 - 그런 다음, 그 그룹 안에서, 경로 패턴이 URL의 경로와 일치하고 가장 긴 규칙이 이겨요; 동점에서는 Allow가 Disallow를 이겨요. 패턴은 와일드카드로서의 *와 끝 앵커로서의 끝에 오는 $를 지원해요. 빈 Disallow는 아무것과도 일치하지 않아요. 그래서 'Disallow:'만으로는 모든 것이 허용돼요.
자주 묻는 질문
이 테스터는 무료인가요?
네 - 완전히 무료, 회원가입 없음이에요.
어떤 일치 규칙을 따르나요?
RFC 9309 / Google의 구현: 가장 구체적인 에이전트 그룹, 가장 긴 일치 규칙, 동점 시 Allow 승리, *와 $ 패턴 지원이에요.
제 URL은 여기서 차단됐지만 Google에 색인됐어요 - 왜인가요?
Robots는 색인이 아니라 크롤링을 차단해요. 차단된 페이지도 링크에서 색인될 수 있고, 설명 없이 표시될 수 있어요.
실시간 robots.txt를 가져오나요?
아니요 - 내용을 붙여넣으세요. 브라우저는 임의 사이트의 파일을 가져올 수 없고(CORS), 붙여넣으면 게시하기 전에 초안을 테스트할 수도 있어요.
무엇이든 업로드되나요?
아니요. 테스트는 브라우저에서 실행돼요.