규칙·사이트맵·AI 크롤러
Robots.txt 생성기
크롤러 접근 범위를 정하고 위험한 규칙 경고를 확인한 뒤 바로 올릴 파일을 내려받습니다.
브라우저에서 실행업로드 없음
입력
예시 사용해 보기
한 줄에 경로 하나씩, 예: /admin/
결과
robots.txt
User-agent: *
Disallow:
robots.txt로 저장해 도메인 루트에 올리세요. 예: https://example.com/robots.txt
점검 결과
- 팁: 크롤러가 찾을 수 있게 사이트맵 URL을 추가하세요
무료 사용 가입 불필요 브라우저에서 실행
검사: robots.txt 크롤링 규칙
올바른 User-agent 그룹으로 파일을 만들고, /로 시작하지 않는 경로, 차단된 CSS·JavaScript, 상대 사이트맵 주소, 위험한 전체 차단을 표시합니다.
결과 해석
파일을 도메인 루트에 올린 뒤, 새 규칙을 믿기 전에 중요한 URL로 먼저 테스트하세요.
수정 우선순위
robots.txt는 접근 제어가 아닌 요청입니다. 규칙을 따르는 크롤러만 지키며, 이미 색인된 페이지를 숨기거나 제거하지는 않습니다.
결과 이해: robots.txt 크롤링 규칙
올바른 User-agent 그룹으로 파일을 만들고, /로 시작하지 않는 경로, 차단된 CSS·JavaScript, 상대 사이트맵 주소, 위험한 전체 차단을 표시합니다.
이 검사의 한계
robots.txt는 접근 제어가 아닌 요청입니다. 규칙을 따르는 크롤러만 지키며, 이미 색인된 페이지를 숨기거나 제거하지는 않습니다.
자주 묻는 질문
무엇을 검사하나요?
올바른 User-agent 그룹으로 파일을 만들고, /로 시작하지 않는 경로, 차단된 CSS·JavaScript, 상대 사이트맵 주소, 위험한 전체 차단을 표시합니다.
결과를 어떻게 사용하나요?
파일을 도메인 루트에 올린 뒤, 새 규칙을 믿기 전에 중요한 URL로 먼저 테스트하세요.
어떤 한계가 있나요?
robots.txt는 접근 제어가 아닌 요청입니다. 규칙을 따르는 크롤러만 지키며, 이미 색인된 페이지를 숨기거나 제거하지는 않습니다.