URL별 크롤러 권한 검사
Robots.txt URL 테스터
특정 크롤러의 경로 접근 가능 여부와 실제 적용 규칙을 확인합니다.
✓ 무료 사용 ✓ 가입 불필요 ✓ 최대 20회 리디렉션
1
검사: URL별 robots.txt 접근
robots.txt를 불러와 가장 구체적인 User-Agent 그룹과 가장 긴 규칙을 적용하며 같은 길이면 Allow가 우선합니다.
2
결과 해석
실수로 차단된 규칙을 줄이거나 의도한 제외를 기록하기 전에 그룹과 규칙을 확인하세요.
3
수정 우선순위
공개 robots.txt만 평가하며 방화벽, 인증과 크롤러별 동작은 별도입니다.
결과 이해: URL별 robots.txt 접근
robots.txt를 불러와 가장 구체적인 User-Agent 그룹과 가장 긴 규칙을 적용하며 같은 길이면 Allow가 우선합니다. 공개 robots.txt만 평가하며 방화벽, 인증과 크롤러별 동작은 별도입니다.
검사 항목
robots.txt를 불러와 가장 구체적인 User-Agent 그룹과 가장 긴 규칙을 적용하며 같은 길이면 Allow가 우선합니다.
- robots.txt를 불러와 가장 구체적인 User-Agent 그룹과 가장 긴 규칙을 적용하며 같은 길이면 Allow가 우선합니다.
- 실수로 차단된 규칙을 줄이거나 의도한 제외를 기록하기 전에 그룹과 규칙을 확인하세요.
- 공개 robots.txt만 평가하며 방화벽, 인증과 크롤러별 동작은 별도입니다.
문제와 다음 단계
실수로 차단된 규칙을 줄이거나 의도한 제외를 기록하기 전에 그룹과 규칙을 확인하세요.
자주 묻는 질문
무엇을 검사하나요?
robots.txt를 불러와 가장 구체적인 User-Agent 그룹과 가장 긴 규칙을 적용하며 같은 길이면 Allow가 우선합니다.
결과를 어떻게 사용하나요?
실수로 차단된 규칙을 줄이거나 의도한 제외를 기록하기 전에 그룹과 규칙을 확인하세요.
어떤 한계가 있나요?
공개 robots.txt만 평가하며 방화벽, 인증과 크롤러별 동작은 별도입니다.