跳至正文

XML 网站地图与 robots.txt:建立、检查与排错

用一组网址规划和简明文件示例,协调网站地图、抓取规则及收录决定,并核查上线后的实际回应。

网站索引卡、打开的门与配置画面
Jack Lee
作者 Jack Lee
5 分钟阅读
分享
本文目录

XML 网站地图告诉搜索引擎你偏好的网址;robots.txt 告诉遵守规则的爬虫可以抓取哪些路径。两者解决不同问题:列出网址不代表页面可收录,禁止抓取也不能可靠地把网页移出搜索。

这篇面向维护网站的人,解释怎样让文件协同运作。想先理解单个文件,可读网站地图入门和robots.txt 指南。

先决定每个网址应该怎样运作

以一家家电店为教学情境:它有公开安装服务页、通用预约确认页、员工记录,以及大量低价值筛选网址。下面是示范规划,并非对真实店铺的审计。

网址用途目标合适做法
公开抽油烟机安装页顾客可访问,并具备搜索展示资格。正常链接、允许抓取、使用首选网址,并列入网站地图。
不含个人资料的通用确认页访客可使用,但不出现在搜索。使用可抓取的 noindex,不列入地图。
员工或顾客记录只限获准人员访问。要求身份验证及服务器端权限检查。
已确认造成抓取浪费的低价值筛选页减少不必要的爬虫请求。考虑经过测试的狭窄 robots 规则;另行决定收录问题。

含顾客资料的确认页,应使用访问控制,不能套用公开页面那行。Robots.txt 本身公开,也无法强制保护隐私。Google 必须能抓取公开页面,才能读取 noindex;不要同时阻挡该页,又期待指令被看到。

建立干净的首选网址清单

先检查 CMS 是否已产生主要网站地图或索引。使用正式站的协议、主机名及完整路径。这个例子的最小文件可以是:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/cooker-hood-installation/</loc>
  </url>
</urlset>

示例特意只列公开服务页。一般搜索网站地图应排除跳转、错误、私人页、noindex 页及重复筛选版本。列首选 canonical 网址,不要把通往同一内容的所有地址都放进去。地图只是信号之一,不能强制 Google 选择某个规范版本。

可选的 lastmod 应反映页面最后一次重要更新,而非每次构建网站的时间。Google 忽略 priority 和 changefreq。单个文件须同时不超过 50,000 个网址及解压后的 50 MB;超过时拆分,需要时使用地图索引。

手动准备小清单时,XML 网站地图生成器可把同一协议、主机和端口下,最多 5,000 个网址做成文件。它不抓取全站,也不证明网址可收录。CMS 自动维护的地图,通常比第二份手动副本容易保持准确。

只写确实需要的抓取限制

如果店家已确认 /internal-filter/ 下的网址造成过多抓取,以下示例请求守规爬虫不要访问该路径:

User-agent: *
Disallow: /internal-filter/
Sitemap: https://example.com/sitemap.xml

把 robots.txt 发布在准确主机的根目录。规则限于该协议、主机及端口;example.com 的文件不会自动管理 shop.example.com。Sitemap 指向公开网址清单,并不能覆盖抓取限制。

这是有条件的示例,不是所有网站都该采用的规则。已收录的筛选网址被阻挡后,仍可能留在搜索。若目标是排除收录,应另外安排爬虫可读取的 noindex 回应。重要页面及呈现内容所需资源,应保持可抓取。

修改前,检查全部 user-agent 组。Google 选择最具体匹配的组,不是直接采用最后一行,也不是继承所有通配组规则。用目标爬虫及完整网址,测试整份规则。

检查公开文件与代表性页面

  1. 打开两个准确文件网址。确认回应为预期文字或 XML,而不是登录页、错误文件或测试站副本。若首先打开的是索引,也检查一份子地图。
  2. 测试相反情况。检查一条应阻挡的网址,以及必须允许的重要服务页。我们的Robots.txt 检查器评估粘贴的规则,不会抓取已发布文件,也不验证真实机器人访问。
  3. 检查实际页面。查看回应、robots meta 或响应头、canonical 和内链。即使在地图中且允许抓取,跳转、错误或 noindex 仍会影响它。
  4. 在 Search Console 提交地图网址。“成功”表示 Google 能读取文件,不代表所有页面已收录。
  5. 调查缺失网址。查看网址检查中的已收录版本报告和排除原因。实时测试可检查当前访问及可能的收录条件,不能保证未来收录或 canonical 选择。

记录改过的规则、理由、批准人及实际检查的网址。迁移或推出语言版本后,对受影响的主机及真实语言网址再检查一次。不要加入会跳转或不存在的语言版本。

处理真正发现的冲突

  • 地图列出,却被阻挡:确认是否应该作为公开搜索页,再修正抓取规则或移除不适合的地图条目。
  • 阻挡抓取,同时 noindex:如果公开页应排除收录,让 Google 能抓取回应、读取 noindex。
  • 地图使用旧址或重复地址:换成预期的最终 canonical 网址,并统一内链。
  • 文件正确,页面仍未出现:查看实际排除原因和内容。重复提交未改变的文件,不能解决所有收录决定。

抓取与收录指南可帮助继续诊断。文件维护的目标是准确表达网站决定,而不是强迫每个网址进入索引。

常见问题

每个网站都需要两个文件吗?

没有抓取问题,就不必增加特别限制。小而内链清楚的网站,Google 未必需要地图才能发现页面。先检查现有设置,避免重复文件。

地图能覆盖 Disallow 或 noindex 吗?

不能。它帮助发现,不会取消抓取或收录指令。应针对实际网址解决矛盾。

从地图删除网址,会让它从 Google 消失吗?

不会。Google 可以从其他地方得知网址;应按页面用途选择排除收录、移除内容或访问控制的方法。

分享这篇文章