Robots.txt 검사기
도메인의 실제 robots.txt 파일을 빠르게 검사합니다.
robots.txt 크롤 규칙 점검
가용성, HTTP 상태, 사용자 에이전트 그룹, Allow와 Disallow 수, Sitemap URL과 원문을 보여 줍니다.
결과 해석
사이트 루트에 공개된 크롤 지시와 사이트맵 위치를 확인할 수 있습니다.
일반적인 문제 발견
파일 누락, 200이 아닌 응답, 광범위한 Disallow, 잘못된 그룹 또는 오래된 Sitemap은 발견을 방해할 수 있습니다.
robots.txt 크롤 규칙 결과 이해하기
사이트 루트에 공개된 크롤 지시와 사이트맵 위치를 확인할 수 있습니다. robots.txt는 크롤을 제어할 뿐 색인 제거를 보장하지 않으며 모든 크롤러의 우선순위를 시뮬레이션하지 않습니다.
도구가 평가하는 항목
가용성, HTTP 상태, 사용자 에이전트 그룹, Allow와 Disallow 수, Sitemap URL과 원문을 보여 줍니다. 사이트 루트에 공개된 크롤 지시와 사이트맵 위치를 확인할 수 있습니다.
- 가용성, HTTP 상태, 사용자 에이전트 그룹, Allow와 Disallow 수, Sitemap URL과 원문을 보여 줍니다.
- 파일 누락, 200이 아닌 응답, 광범위한 Disallow, 잘못된 그룹 또는 오래된 Sitemap은 발견을 방해할 수 있습니다.
- 사용자 에이전트 문맥에서 원문을 검토하고 실수로 막힌 범위를 줄이며 Sitemap을 갱신한 뒤 다시 검사하세요.
일반적인 문제와 다음 단계
파일 누락, 200이 아닌 응답, 광범위한 Disallow, 잘못된 그룹 또는 오래된 Sitemap은 발견을 방해할 수 있습니다. 사용자 에이전트 문맥에서 원문을 검토하고 실수로 막힌 범위를 줄이며 Sitemap을 갱신한 뒤 다시 검사하세요. robots.txt는 크롤을 제어할 뿐 색인 제거를 보장하지 않으며 모든 크롤러의 우선순위를 시뮬레이션하지 않습니다.
자주 묻는 질문
robots.txt 크롤 규칙 검사 범위는 무엇인가요?
가용성, HTTP 상태, 사용자 에이전트 그룹, Allow와 Disallow 수, Sitemap URL과 원문을 보여 줍니다.
결과를 어떻게 활용해야 하나요?
사이트 루트에 공개된 크롤 지시와 사이트맵 위치를 확인할 수 있습니다. 사용자 에이전트 문맥에서 원문을 검토하고 실수로 막힌 범위를 줄이며 Sitemap을 갱신한 뒤 다시 검사하세요.
이 도구의 한계는 무엇인가요?
robots.txt는 크롤을 제어할 뿐 색인 제거를 보장하지 않으며 모든 크롤러의 우선순위를 시뮬레이션하지 않습니다.