跳至正文

工具AI 爬虫访问检查器

免费 AI 爬虫访问检查器

检查 AI 爬虫相关的 robots.txt 权限与公开网页信号。

检查访问条件,不计算可见度分数

输入一个公开网址。工具检查 HTML 响应和根目录 robots.txt,并分开报告搜索与训练爬虫的规则。

检查结果会显示在这里。

常见问题

允许爬虫就能保证被 AI 引用吗?

不能,访问权限只是其中一个条件,检索和引用仍由搜索系统决定。

搜索爬虫和训练爬虫相同吗?

不同。例如 OAI-SearchBot 用于 ChatGPT 搜索,GPTBot 用于模型训练,两者的 robots.txt 控制相互独立。