跳至正文

工具Robots.txt 检查器

免费 Robots.txt 检查器

测试适用于指定网址与爬虫的 robots.txt 规则。

看清实际匹配的规则

粘贴目标网址所在主机根目录的 robots.txt,输入爬虫名称,查看匹配规则与行号。

检查结果会显示在这里。

常见问题

检查器按什么规则判断?

选择最具体的匹配 user-agent 组与网址规则;优先级相同时 Allow 优先,支持通配符与路径结束标记。

Disallow 会让网页从 Google 消失吗?

不一定。Robots.txt 控制抓取,不等于从索引中移除。