免费 Robots.txt 检查器
测试适用于指定网址与爬虫的 robots.txt 规则。
看清实际匹配的规则
粘贴目标网址所在主机根目录的 robots.txt,输入爬虫名称,查看匹配规则与行号。
常见问题
检查器按什么规则判断?
选择最具体的匹配 user-agent 组与网址规则;优先级相同时 Allow 优先,支持通配符与路径结束标记。
Disallow 会让网页从 Google 消失吗?
不一定。Robots.txt 控制抓取,不等于从索引中移除。
测试适用于指定网址与爬虫的 robots.txt 规则。
粘贴目标网址所在主机根目录的 robots.txt,输入爬虫名称,查看匹配规则与行号。
选择最具体的匹配 user-agent 组与网址规则;优先级相同时 Allow 优先,支持通配符与路径结束标记。
不一定。Robots.txt 控制抓取,不等于从索引中移除。