免费 Robots.txt 检查器
测试适用于指定网址与爬虫的 robots.txt 规则。
看清实际匹配的规则
粘贴目标网址所在主机根目录的 robots.txt，输入爬虫名称，查看匹配规则与行号。
这里只检查粘贴的规则，不检查服务器权限、防火墙或收录状态，也不会读取线上的 robots.txt。
常见问题
检查器按什么规则判断？
选择最具体的匹配 user-agent 组与网址规则；优先级相同时 Allow 优先，支持通配符与路径结束标记。
Disallow 会让网页从 Google 消失吗？
不一定。Robots.txt 控制抓取，不等于从索引中移除。
