Robots.txt 생성기 - 구문 함정 없는 크롤러 규칙
robots.txt의 잘못된 줄 하나는 전체 사이트를 Google에서 숨길 수 있어요 - 또는 아무것도 숨기지 못할 수도 있어요. 여기서 만드세요. 일반적인 경우를 위한 프리셋과 출력에 대한 검사와 함께요.
Robots.txt 생성기 사용법
- 프리셋을 선택하거나, 모두 허용에서 시작해 맞춤 설정하세요.
- 특정 크롤러(예: GPTBot)를 위한 그룹을 자체 규칙과 함께 추가하세요.
- 차단 및 허용 경로를 줄에 하나씩 나열하세요 - 경로는 /로 시작해요.
- 사이트맵 URL을 추가하고 생성을 클릭하세요.
- 점검 메모를 살펴본 뒤, 파일을 yourdomain.com/robots.txt에 배치하세요.
작동 방식
robots.txt 파일은 그룹들의 집합이에요: 각 그룹은 하나 이상의 사용자 에이전트(크롤러)를 명명하고, 뒤에 그들에게 적용되는 Disallow와 Allow 경로 규칙이 와요. 빈 Disallow는 모든 것이 허용된다는 뜻이에요; Disallow: / 그 에이전트에 대해 전체 사이트를 차단해요. 규칙은 접두사로 일치하고, Google은 더 넓은 Disallow에서 예외를 깎아내기 위해 Allow도 지원해요. 이 생성기는 표준 형식으로 그룹을 내보내고, Sitemap 줄을 추가한 뒤, 자체 출력을 점검해요: 알 수 없는 필드, /로 시작하지 않는 경로, 전체 URL이 아닌 사이트맵 줄은 모두 표시돼요. robots.txt는 잠금이 아니라 요청이라는 것을 기억하세요 - 잘 행동하는 크롤러는 복종하고, 악의적인 것은 그렇지 않을 수 있어, 비밀을 보호하기 위해 절대 의존하지 마세요.
자주 묻는 질문
이 생성기는 무료인가요?
네 - 완전히 무료, 회원가입 없음이에요.
robots.txt는 어디로 가나요?
도메인의 루트에: https://yourdomain.com/robots.txt - 다른 곳은 읽지 않아요.
robots.txt가 페이지를 검색 결과에서 완전히 차단하나요?
이는 크롤링을 차단하지 색인을 차단하지 않아요: 차단된 URL은 다른 사이트가 링크하면 여전히 결과에 나타날 수 있어요(설명 없이). 페이지를 완전히 제외하려면 noindex 태그를 사용하세요.
AI 크롤러를 차단할 수 있나요?
AI 프리셋은 GPTBot, CCBot, Google-Extended를 금지하는 그룹을 추가해요. 준수하는 크롤러는 그것을 존중해요; robots.txt를 무시하는 스크레이퍼를 막을 수는 없어요.
무엇이든 업로드되나요?
아니요. 생성과 검사는 브라우저에서 실행돼요.