Loona Automation 로고Loona 개발자 도구
홈 › 개발자 도구 › Robots.txt 생성기

Robots.txt 생성기 - 구문 함정 없는 크롤러 규칙

요약하면: Robots.txt 생성기는 프리셋과 에이전트별 규칙에서 유효한 robots.txt를 만들어요 - 크롤러별 허용과 금지 경로, 그리고 사이트맵 줄 - 그리고 출고하기 전에 결과에 대해 점검을 실행해요.

robots.txt의 잘못된 줄 하나는 전체 사이트를 Google에서 숨길 수 있어요 - 또는 아무것도 숨기지 못할 수도 있어요. 여기서 만드세요. 일반적인 경우를 위한 프리셋과 출력에 대한 검사와 함께요.

설계상 비공개: 이 도구의 모든 것은 JavaScript로 브라우저에서 100% 일어나요. 입력은 서버에 절대 업로드되지 않고, 절대 저장되지 않으며, 저희가 절대 보지 않아요 - 탭을 닫으면 모든 것이 사라져요.

Robots.txt 생성기 사용법

  1. 프리셋을 선택하거나, 모두 허용에서 시작해 맞춤 설정하세요.
  2. 특정 크롤러(예: GPTBot)를 위한 그룹을 자체 규칙과 함께 추가하세요.
  3. 차단 및 허용 경로를 줄에 하나씩 나열하세요 - 경로는 /로 시작해요.
  4. 사이트맵 URL을 추가하고 생성을 클릭하세요.
  5. 점검 메모를 살펴본 뒤, 파일을 yourdomain.com/robots.txt에 배치하세요.

작동 방식

robots.txt 파일은 그룹들의 집합이에요: 각 그룹은 하나 이상의 사용자 에이전트(크롤러)를 명명하고, 뒤에 그들에게 적용되는 Disallow와 Allow 경로 규칙이 와요. 빈 Disallow는 모든 것이 허용된다는 뜻이에요; Disallow: / 그 에이전트에 대해 전체 사이트를 차단해요. 규칙은 접두사로 일치하고, Google은 더 넓은 Disallow에서 예외를 깎아내기 위해 Allow도 지원해요. 이 생성기는 표준 형식으로 그룹을 내보내고, Sitemap 줄을 추가한 뒤, 자체 출력을 점검해요: 알 수 없는 필드, /로 시작하지 않는 경로, 전체 URL이 아닌 사이트맵 줄은 모두 표시돼요. robots.txt는 잠금이 아니라 요청이라는 것을 기억하세요 - 잘 행동하는 크롤러는 복종하고, 악의적인 것은 그렇지 않을 수 있어, 비밀을 보호하기 위해 절대 의존하지 마세요.

자주 묻는 질문

이 생성기는 무료인가요?

네 - 완전히 무료, 회원가입 없음이에요.

robots.txt는 어디로 가나요?

도메인의 루트에: https://yourdomain.com/robots.txt - 다른 곳은 읽지 않아요.

robots.txt가 페이지를 검색 결과에서 완전히 차단하나요?

이는 크롤링을 차단하지 색인을 차단하지 않아요: 차단된 URL은 다른 사이트가 링크하면 여전히 결과에 나타날 수 있어요(설명 없이). 페이지를 완전히 제외하려면 noindex 태그를 사용하세요.

AI 크롤러를 차단할 수 있나요?

AI 프리셋은 GPTBot, CCBot, Google-Extended를 금지하는 그룹을 추가해요. 준수하는 크롤러는 그것을 존중해요; robots.txt를 무시하는 스크레이퍼를 막을 수는 없어요.

무엇이든 업로드되나요?

아니요. 생성과 검사는 브라우저에서 실행돼요.

관련 개발자 도구

이 도구를 웹사이트에 삽입하세요 — 무료

이 도구를 여러분의 웹사이트나 블로그에 추가하세요 — 완전히 무료이고, 회원가입이 필요 없으며, 항상 최신 버전을 보여줘요. 아래 코드를 복사해 도구가 나타나길 원하는 페이지 위치에 붙여넣으세요. 삽입 아래의 작은 “Powered by Loona Automation” 크레딧 줄을 유지하면 이 도구를 무료로 유지하는 데 도움이 돼요 — 하지만 자유롭게 스타일을 바꾸거나 제거해도 돼요; 어느 쪽이든 도구는 작동해요.