XML 网站地图告诉搜索引擎你偏好的网址;robots.txt 告诉遵守规则的爬虫可以抓取哪些路径。两者解决不同问题:列出网址不代表页面可收录,禁止抓取也不能可靠地把网页移出搜索。
这篇面向维护网站的人,解释怎样让文件协同运作。想先理解单个文件,可读网站地图入门和robots.txt 指南。
先决定每个网址应该怎样运作
以一家家电店为教学情境:它有公开安装服务页、通用预约确认页、员工记录,以及大量低价值筛选网址。下面是示范规划,并非对真实店铺的审计。
| 网址用途 | 目标 | 合适做法 |
|---|---|---|
| 公开抽油烟机安装页 | 顾客可访问,并具备搜索展示资格。 | 正常链接、允许抓取、使用首选网址,并列入网站地图。 |
| 不含个人资料的通用确认页 | 访客可使用,但不出现在搜索。 | 使用可抓取的 noindex,不列入地图。 |
| 员工或顾客记录 | 只限获准人员访问。 | 要求身份验证及服务器端权限检查。 |
| 已确认造成抓取浪费的低价值筛选页 | 减少不必要的爬虫请求。 | 考虑经过测试的狭窄 robots 规则;另行决定收录问题。 |
含顾客资料的确认页,应使用访问控制,不能套用公开页面那行。Robots.txt 本身公开,也无法强制保护隐私。Google 必须能抓取公开页面,才能读取 noindex;不要同时阻挡该页,又期待指令被看到。
建立干净的首选网址清单
先检查 CMS 是否已产生主要网站地图或索引。使用正式站的协议、主机名及完整路径。这个例子的最小文件可以是:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/cooker-hood-installation/</loc>
</url>
</urlset>
示例特意只列公开服务页。一般搜索网站地图应排除跳转、错误、私人页、noindex 页及重复筛选版本。列首选 canonical 网址,不要把通往同一内容的所有地址都放进去。地图只是信号之一,不能强制 Google 选择某个规范版本。
可选的 lastmod 应反映页面最后一次重要更新,而非每次构建网站的时间。Google 忽略 priority 和 changefreq。单个文件须同时不超过 50,000 个网址及解压后的 50 MB;超过时拆分,需要时使用地图索引。
手动准备小清单时,XML 网站地图生成器可把同一协议、主机和端口下,最多 5,000 个网址做成文件。它不抓取全站,也不证明网址可收录。CMS 自动维护的地图,通常比第二份手动副本容易保持准确。
只写确实需要的抓取限制
如果店家已确认 /internal-filter/ 下的网址造成过多抓取,以下示例请求守规爬虫不要访问该路径:
User-agent: *
Disallow: /internal-filter/
Sitemap: https://example.com/sitemap.xml
把 robots.txt 发布在准确主机的根目录。规则限于该协议、主机及端口;example.com 的文件不会自动管理 shop.example.com。Sitemap 指向公开网址清单,并不能覆盖抓取限制。
这是有条件的示例,不是所有网站都该采用的规则。已收录的筛选网址被阻挡后,仍可能留在搜索。若目标是排除收录,应另外安排爬虫可读取的 noindex 回应。重要页面及呈现内容所需资源,应保持可抓取。
修改前,检查全部 user-agent 组。Google 选择最具体匹配的组,不是直接采用最后一行,也不是继承所有通配组规则。用目标爬虫及完整网址,测试整份规则。
检查公开文件与代表性页面
- 打开两个准确文件网址。确认回应为预期文字或 XML,而不是登录页、错误文件或测试站副本。若首先打开的是索引,也检查一份子地图。
- 测试相反情况。检查一条应阻挡的网址,以及必须允许的重要服务页。我们的Robots.txt 检查器评估粘贴的规则,不会抓取已发布文件,也不验证真实机器人访问。
- 检查实际页面。查看回应、robots meta 或响应头、canonical 和内链。即使在地图中且允许抓取,跳转、错误或 noindex 仍会影响它。
- 在 Search Console 提交地图网址。“成功”表示 Google 能读取文件,不代表所有页面已收录。
- 调查缺失网址。查看网址检查中的已收录版本报告和排除原因。实时测试可检查当前访问及可能的收录条件,不能保证未来收录或 canonical 选择。
记录改过的规则、理由、批准人及实际检查的网址。迁移或推出语言版本后,对受影响的主机及真实语言网址再检查一次。不要加入会跳转或不存在的语言版本。
处理真正发现的冲突
- 地图列出,却被阻挡:确认是否应该作为公开搜索页,再修正抓取规则或移除不适合的地图条目。
- 阻挡抓取,同时 noindex:如果公开页应排除收录,让 Google 能抓取回应、读取
noindex。 - 地图使用旧址或重复地址:换成预期的最终 canonical 网址,并统一内链。
- 文件正确,页面仍未出现:查看实际排除原因和内容。重复提交未改变的文件,不能解决所有收录决定。
抓取与收录指南可帮助继续诊断。文件维护的目标是准确表达网站决定,而不是强迫每个网址进入索引。
常见问题
每个网站都需要两个文件吗?
没有抓取问题,就不必增加特别限制。小而内链清楚的网站,Google 未必需要地图才能发现页面。先检查现有设置,避免重复文件。
地图能覆盖 Disallow 或 noindex 吗?
不能。它帮助发现,不会取消抓取或收录指令。应针对实际网址解决矛盾。
从地图删除网址,会让它从 Google 消失吗?
不会。Google 可以从其他地方得知网址;应按页面用途选择排除收录、移除内容或访问控制的方法。

