Loona Automation 로고Loona 개발자 도구
홈 › 개발자 도구 › Robots.txt 테스터

Robots.txt 테스터 - 허용 또는 차단, 그리고 정확한 이유

요약하면: Robots.txt 테스터는 실제 일치 규칙을 적용해요 - 가장 구체적인 사용자 에이전트 그룹, 그다음 가장 긴 일치 경로 규칙, 동점 시 Allow 승리 - 그리고 판정과 그것을 결정한 정확한 규칙을 표시해요.

robots.txt 파일은 쓰기는 쉽지만 추론하기는 어려워요. 이 테스터는 주어진 크롤러와 URL에 대해 중요한 유일한 질문에 답해요.

설계상 비공개: 이 도구의 모든 것은 JavaScript로 브라우저에서 100% 일어나요. 입력은 서버에 절대 업로드되지 않고, 절대 저장되지 않으며, 저희가 절대 보지 않아요 - 탭을 닫으면 모든 것이 사라져요.

Robots.txt 테스터 사용법

  1. robots.txt 내용을 붙여넣으세요.
  2. 테스트할 전체 URL과 사용자 에이전트 이름(Googlebot, GPTBot, *)을 입력하세요.
  3. 이 URL 테스트를 클릭하세요.
  4. 판정과 그것을 만든 일치 규칙을 읽으세요.

작동 방식

매칭은 표준(RFC 9309, Google이 구현한 방식)을 따라요: 먼저 크롤러의 그룹이 선택돼요 - 가장 구체적으로 일치하는 사용자 에이전트 토큰을 명명하는 그룹이 * 그룹보다 이겨요 - 그런 다음, 그 그룹 안에서, 경로 패턴이 URL의 경로와 일치하고 가장 긴 규칙이 이겨요; 동점에서는 Allow가 Disallow를 이겨요. 패턴은 와일드카드로서의 *와 끝 앵커로서의 끝에 오는 $를 지원해요. 빈 Disallow는 아무것과도 일치하지 않아요. 그래서 'Disallow:'만으로는 모든 것이 허용돼요.

자주 묻는 질문

이 테스터는 무료인가요?

네 - 완전히 무료, 회원가입 없음이에요.

어떤 일치 규칙을 따르나요?

RFC 9309 / Google의 구현: 가장 구체적인 에이전트 그룹, 가장 긴 일치 규칙, 동점 시 Allow 승리, *와 $ 패턴 지원이에요.

제 URL은 여기서 차단됐지만 Google에 색인됐어요 - 왜인가요?

Robots는 색인이 아니라 크롤링을 차단해요. 차단된 페이지도 링크에서 색인될 수 있고, 설명 없이 표시될 수 있어요.

실시간 robots.txt를 가져오나요?

아니요 - 내용을 붙여넣으세요. 브라우저는 임의 사이트의 파일을 가져올 수 없고(CORS), 붙여넣으면 게시하기 전에 초안을 테스트할 수도 있어요.

무엇이든 업로드되나요?

아니요. 테스트는 브라우저에서 실행돼요.

관련 개발자 도구

이 도구를 웹사이트에 삽입하세요 — 무료

이 도구를 여러분의 웹사이트나 블로그에 추가하세요 — 완전히 무료이고, 회원가입이 필요 없으며, 항상 최신 버전을 보여줘요. 아래 코드를 복사해 도구가 나타나길 원하는 페이지 위치에 붙여넣으세요. 삽입 아래의 작은 “Powered by Loona Automation” 크레딧 줄을 유지하면 이 도구를 무료로 유지하는 데 도움이 돼요 — 하지만 자유롭게 스타일을 바꾸거나 제거해도 돼요; 어느 쪽이든 도구는 작동해요.