XML Sitemap 是发现与清单提示，用来告诉搜索引擎哪些首选 URL 和文件值得注意；robots.txt 是访问协议，用来告诉合规 Crawler 可以请求哪些 URL Path。两者都不保证索引或排名，也不能保护私人资料。
发现：Sitemap 加可抓取链接。抓取访问：robots.txt。排除索引：可抓取 noindex 或真实移除响应。集中重复页：Canonical 或 Redirect。机密资料：Authentication 与 Authorization。
五种控制不能互相替代
| 需要的结果 | 主要控制 | 成功证据 | 不能替代为 |
|---|---|---|---|
| 帮助搜索引擎发现首选 URL | 可抓取内部链接与干净 Sitemap | URL 有链接、已列出且可获取 | 重复提交 URL Inspection |
| 阻止合规 Bot 请求某个 Path | 针对该 Crawler 与 Host 的 robots.txt Rule | 规则与测试 URL 正确匹配 | 仍允许抓取的 noindex |
| 让可访问页面不出现在 Google 搜索 | Robots Meta 或 X-Robots-Tag noindex | Google 能获取并读取指令 | robots.txt Disallow |
| 永久移除已下线公开 URL | 404/410，或 301/308 到真正替代页 | 最终 HTTP Response 符合决定 | 只从 Sitemap 删除 |
| 集中同等重复 URL | 一致 Canonical 信号或永久 Redirect | Link 与 Sitemap 使用首选 URL | 用 robots.txt 阻挡重复页 |
| 保护私人或机密内容 | Authentication 与 Server-side Authorization | 未授权请求无法获取内容 | robots.txt、noindex 或不链接 URL |
网站是否需要 Sitemap？
Google 表示，如果大约 500 页或更少的小网站能通过正常链接到达全部重点页，可能不需要 Sitemap。不过 Sitemap 对小企业仍很有用，尤其是新网站上线、网站迁移、多语言扩展与清单监控。
Sitemap 只能补充网站架构，不能修复 Orphan Page。使用网站架构指南与内部链接指南建立真实发现路径。
| 情况 | Sitemap 价值 | 更重要的配套 |
|---|---|---|
| 外链很少的新 Domain | 高：展示首选上线清单 | 首页page、Hub 与相关外部 Profile 的链接 |
| 内部链接完整的小型服务网站 | 有用，但发现不一定依赖它 | 清楚导航与直接内部链接 |
| 大型 Ecommerce、Publisher 或 Marketplace | 高：分组大型且持续变化的清单 | Facet Control、Server Log 与稳定 URL 规则 |
| 多语言网站 | 选择 Sitemap Hreflang 时价值高 | Self-Canonical Locale URL 与互相 Alternate |
| 以 Image、Video 或 News 为主的网站 | 媒体不易被发现时价值高 | 可访问媒体、有效 Landing Page 与功能要求 |
| 网站迁移 | 高：展示最终首选 URL 集合 | 一对一 Redirect、保留内容与生产环境 Crawl QA |
选择能够长期维护的 Sitemap 格式
| 格式 | 适合 | 能力与限制 |
|---|---|---|
| XML URL Set | 多数网站与 CMS | 支持 URL、lastmod，以及 Locale、Image、Video、News Extension |
| Sitemap Index | 多个 XML 文件或大型清单 | 引用 Child Sitemap；内容是 Sitemap Location，不是页面 URL |
| RSS 或 Atom | 拥有可靠 Feed 的 Publisher | 适合近期 URL；不能代表完整历史清单 |
| Text Sitemap | 简单的纯页面清单 | 每行一个 Absolute URL；没有 lastmod 或 Extension |
| HTML Sitemap | 用户导航与 Accessibility | 属于普通网页，不能代替符合协议的 Sitemap Submission |
根据 Canonical 清单生成 Sitemap
最安全的 Generator 应使用发布页面的同一 Source of Truth。只有当 URL 的预期状态是公开、可索引且为 Canonical 时才进入 Sitemap。盲目抓取生成的清单可能保留 Parameter Duplicate、Redirect 或旧 Staging Route。
Google 会尝试抓取 Sitemap 列出的准确 Absolute URL。Protocol、Hostname、Path 大小写、Trailing Slash Policy 与 Locale Path 都应和最终 Canonical 一致。
- 完整的 Production HTTPS Absolute URL。
- Hostname、Path 与 Locale 都正确的首选 Canonical 版本。
- 预期返回 HTTP 200 与有意义可见内容。
- robots.txt 允许访问，而且不需要 Login。
- 没有 Robots Meta 或 X-Robots-Tag noindex。
- 不是 Parameter、Sort、Filter、Session 或 Tracking 重复变体。
- 至少一个有用、可抓取的内部链接能到达。
- 适合作为搜索结果的 Landing Page。
- 只在正确 Child Sitemap 出现一次。
- 发布状态或索引决定改变时自动移除。
排除表达不同索引决定的 URL
| URL 状态 | Sitemap 处理 | 正确技术处理 |
|---|---|---|
| 301/308 永久跳转 | 排除来源，只列最终首选 URL | 旧 URL 直接跳到最接近的同等页面 |
| 302/307 临时跳转 | 通常不放进首选清单 | 确认哪个 URL 应长期保留索引 |
| 404/410 已下线 URL | 排除 | 保留真实移除响应并修正内部链接 |
| 5xx 或持续 Timeout | 不能当作健康清单 | 修复 Server 或 Application 原因 |
| noindex 页面 | 排除 | 保持可抓取，直到 Google 能处理指令 |
| Canonical Duplicate | 排除重复版本，只列首选代表页 | 对齐 Internal Link、Hreflang 与 Canonical |
| 内部搜索或低价值 Filter | 排除 | 按价值与规模决定索引和抓取规则 |
| Staging、Preview、Admin 或 Account URL | 排除 | 以访问控制保护私人环境及 Session |
遵守协议限制与文件范围
单个 Sitemap 最多 50,000 个 URL 或未压缩 50 MB。一个 Sitemap Index 最多引用 50,000 个 Sitemap 文件，同样受未压缩 50 MB 限制。Compression 只减少传输大小，不改变未压缩协议限制。
使用 UTF-8、正确 Escape XML Value，并保持稳定公开的 Sitemap URL。除非通过 Search Console 提交，Sitemap 通常只影响其 Parent Directory 的后代路径；放在根目录可避免意外 Scope 限制。
| 协议项目 | 要求 | 审核 |
|---|---|---|
| URL Set | 最多 50,000 URL 与未压缩 50 MB | 上线前计算 Entry 与未压缩 Byte |
| Sitemap Index | 最多 50,000 Child Sitemap 与未压缩 50 MB | Child Location 可访问且属于预期 Host 清单 |
| Encoding | UTF-8、有效 XML、正确 Escape Entity | Parser 能处理 Ampersand、非拉丁 Path 与 Namespace |
| Location | 在有效 Scope 内的稳定可访问 URL | 根目录或已验证 Cross-site Submission 是有意设置 |
| Page URL | 完整 Absolute URL | 没有 Relative Path、Development Host 或混合 Protocol |
| Ordering | 没有排名含义 | 不要为所谓优先级浪费排序工作 |
按诊断需要拆分 Child Sitemap
把小型清单拆成数百个文件只会增加维护噪音。只有当一组 URL 有不同 Template、Owner、更新模式或风险，让 Search Console Filter 能产生可行动 Cohort 时才拆分。
SEOWithJack 目前用一个 Root Sitemap Index 引用 Post、Page 与 Category Child Sitemap；Post Sitemap 包括英语、马来语与简体中文文章 URL，robots.txt 则只指向一个 Root Index。这个结构容易审核，也能分开内容类型。
| 可能的 Child Sitemap | 适合使用时机 | 不合理原因 |
|---|---|---|
| Post 或 篇文章 | 编辑 URL 共享发布与更新规则 | 无论工作流程如何，每个月都建立永久文件 |
| Page 或 Service | 商业/静态 Template 需要独立监控 | 只是 URL 数量比较少 |
| Product 或 Category | 不同 Template 与 Canonical 风险需分组 | 想声称更高 Priority |
| Locale | 不同团队或平台独立管理语言 | 逃避正确 Hreflang 关系 |
| Image、Video 或 News | 有专属 Extension 与 Validation | 网站只有一张普通图片 |
| 旧迁移 Cohort | 需要临时监控已移动 URL | 把跳转旧 URL 当作首选页面 |
把 lastmod 当作真实修改记录
Google 表示，<lastmod> 持续且可验证准确时，可能用于安排重新抓取。它应代表页面最后一次实质修改，不是 Sitemap 生成时间、Deployment Timestamp 或 Copyright 年份。
Google 会忽略 <priority> 与 <changefreq>。未经验证的 Sitemap Ping Endpoint 也已停用并返回 404；应保留稳定 Sitemap URL，并使用 Search Console、robots.txt 或 Search Console API。
| 改变 | 更新 lastmod？ | 原因 |
|---|---|---|
| 以新证据重写主要指南 | 更新 | 页面发生实质改变 |
| 加入或更正重要 Structured Data | 更新 | Google 把这类改变视为可能有意义 |
| 实质改变重要 Internal Link 或导航背景 | 通常更新 | 发现与页面关系改变 |
| 修正一个错字或压缩同一图片 | 通常不更新 | 页面目的与资讯没有实质变化 |
| 只改 Footer、Copyright 或全站 CSS | 不能为全部内容 URL 更新 | 共同外观 Build 不等于内容更新 |
| 原文不变，只改成今天日期 | 不更新 | 制造不准确 Signal 与误导 Freshness |
| Aggregator 自动变化 | 只有能准确判断实质变化才更新 | 不确定时省略 lastmod |
对齐 Sitemap、Status、Canonical 与索引规则
| 信号 | 首选可索引 URL | 已下线 URL | 重复 URL | 私人 URL |
|---|---|---|---|---|
| HTTP Response | 200 | 404/410 或相关 301/308 | 按产品需要使用 200 或 Redirect | 401/403 或认证访问 |
| robots.txt | 允许抓取 | 通常不需特别规则 | Google 要读 Canonical/noindex 时应允许 | 不能当 Security Control |
| Robots Meta/Header | 允许索引 | 真实移除不需要 | 只有预期排除才 noindex | 不能当 Security Control |
| Canonical | Self-referential 首选 URL | 移除 Response 无需设置 | 适当指向同等代表页 | 不应依赖 |
| Internal Link | 直接使用首选 URL | 移除或更新 | 优先链接代表页 | 仅在授权体验内 |
| Sitemap | 包括 | 排除 | 排除非首选重复页 | 排除 |
多语言 Sitemap 与 hreflang
XML 是 Google 支持的三种同等 Hreflang 实现之一。选择这种方式时，每个 Localized URL 都有自己的 <url> Entry，而且每个 Entry 都通过相同 xhtml:link Annotation 列出自己与全部 Alternate。
不要用 Hreflang 修复只有导航翻译、主要内容未翻译的页面。每个 Locale URL 应是真正可索引的本地化页面，使用 Self-Canonical 与受支持的语言代码。完整决定见多语言 SEO 指南。
- 每个可索引语言 URL 都有自己的 Sitemap URL Entry。
- 每个 Entry 都列出自己与全部 Alternate。
- 所有 Alternate Set 互相对应且完全相同。
- 全部 href 都是 Production Absolute URL。
- 每个 Alternate 返回 HTTP 200，并在该语言使用 Self-Canonical。
- 语言代码使用受支持 ISO Language 与可选 Region 值。
- x-default 只用于有意设置的 Fallback Destination。
- Redirect、noindex、Blocked 或未翻译版本不能声明为有效 Alternate。
- HTML 或 HTTP Header Hreflang 不得与 Sitemap Mapping 冲突。
只有帮助发现时才使用专属 Extension
| Extension | 适合 | 上线条件 |
|---|---|---|
| Image | Google 不易发现的重要图片，包括部分 JavaScript 才到达的 Asset | Image URL 可抓取，只用当前支持 Tag |
| Video | Video 是主要内容的页面 | Landing Page、Thumbnail、Player/Content URL 与必要字段可访问 |
| News | 符合资格且拥有当前文章清单的 News Publisher | 遵循当前 Google News Sitemap 要求 |
| xhtml Hreflang | 以 Sitemap 作为 Localized Variant Annotation | 每个版本列出完整互相对应 Set |
| Combined Extension | 页面确实符合多个类型 | 每个 Namespace 声明一次并验证 XML |
| 不使用 | 普通页面已能通过 HTML 发现 | 不要只为外观加入 Unsupported Metadata |
提交的是位置，不是文件内容
Search Console Submission 只是告诉 Google 已托管 Sitemap 的位置，不会把 XML Upload 到 Google。文件必须持续公开且可获取。Submission 显示成功，只代表 Google 能处理文件，不代表每个 URL 已抓取、索引或排名。
| 方式 | 用途 | 限制 |
|---|---|---|
| Search Console Sitemaps Report | 手动提交，并查看获取及解析反馈 | 需要 Owner Permission 与正确 Property Scope |
| robots.txt Sitemap Line | 让 Crawler 持续发现公开声明 | 使用完整 Absolute URL；不保证处理 |
| Search Console API | 程序化管理多个已验证 Property | 自动化仍需 Validation 与 Ownership |
| RSS/Atom 加 WebSub | 广播近期发布变化 | 近期 Feed 不是完整清单 |
| 已停用 Ping Endpoint | 不要使用 | Google 返回 404，且没有有效 Signal |
在正确层级阅读 Search Console
Sitemaps Report 用于确认 Fetch History 与 Parsing Error；Page Indexing Report 可筛选 “All Submitted Pages” 或指定 Sitemap 来查看 Cohort；URL Inspection 适合检查代表性 URL，不能由一页推断全站。
Submitted 与 Indexed 之间有差距不一定是错误。Redirect、Duplicate、noindex 与 Removal 本来就不应进入干净 Sitemap；有效页面仍可能需要调查 Quality、Canonical Selection 或 Processing。
| 问题 | 最佳证据 | 不能下的结论 |
|---|---|---|
| Google 能获取并解析文件吗？ | Sitemaps Report Status、Last Read 与 Error | Success 代表全部 URL 已索引 |
| 哪个 Submitted Cohort 没索引？ | 按 Sitemap 筛选 Page Indexing | 每个 Non-indexed URL 都是错误 |
| Google 对一个 URL 知道什么？ | URL Inspection Indexed Data 与 Live Test | Live Test 代表已经进入 Index |
| 生成结果技术上干净吗？ | 独立 XML Parse 与 URL Inventory Crawl | Valid XML 代表 URL 决定正确 |
| 发现效率是否改善？ | 可比较 Crawl/Index Cohort 与 Server Log | Submission Timestamp 导致排名提升 |
robots.txt 的范围从准确 Host Root 开始
文件必须以小写 /robots.txt 放在 Top Level，规则只适用于相同 Protocol、Hostname 与 Port。https://example.com 的文件不能控制 HTTP、www、其他 Subdomain 或非标准 Port。
翻译 Subfolder 共享 Host 的 robots file；翻译 Subdomain 需要自己的文件。CDN 或 Application 应返回 UTF-8 Plain Text，不是 Login Page、HTML Error Template 或 Redirect Chain。
| robots.txt 位置 | 控制 | 不控制 |
|---|---|---|
| https://example.com/robots.txt | 标准 Port 的 example.com HTTPS URL | HTTP、www、Subdomain 或 Custom Port |
| https://www.example.com/robots.txt | 只控制 www HTTPS Host | Apex 或 shop.example.com |
| https://shop.example.com/robots.txt | 只控制 Shop HTTPS Subdomain | 主网站或其他 Subdomain |
| https://example.com/folder/robots.txt | 不能作为 Root Robots Policy | /folder/ 下的 URL |
| https://example.com:8443/robots.txt | 只控制该 Host、Protocol 与 Port | 标准 HTTPS Port |
理解 Group、Matching 与支持字段
| 元素 | Google 行为 | 审核风险 |
|---|---|---|
| User-agent | 开始一个 Group；选择最具体 Matching Token，并合并重复匹配 Group | 误以为 Generic Group 会覆盖更具体 Bot Group |
| Disallow | 阻止 Path 与规则匹配的抓取请求 | 过宽 Prefix 意外覆盖有用 URL |
| Allow | 在较广 Disallow 内建立允许例外 | 例外比竞争 Block Rule 更短 |
| Longest Match | 最具体 Path 胜出；同长度时 Allow 胜出 | 审核者误以为只按上下顺序 |
| Path 大小写 | 规则 Case-sensitive | 实际 URL 使用不同 Capitalization |
| Wildcard | Google 支持 * 与结尾 Anchor $ | 把它当完整 Regex 而错误匹配 |
| Sitemap | Absolute Location；不属于某个 User-agent Group | 使用 Relative URL 或错误 Host |
| 不支持 Line | Google 会忽略 | 误以为 crawl-delay 或 Plugin Directive 通用 |
从最精简 robots.txt 开始
如果全部公开内容都允许抓取，没有文件或空的适用 Disallow 已代表允许；Allow: / 通常不需要。只有 URL Pattern 确实要限制 Crawl Access 才加 Rule，然后测试代表性的允许及阻挡 URL。
简单服务网站可使用一个 User-agent: * Group，阻挡内部搜索结果 Path，并列出一个 Absolute Sitemap Index。静态迁移后不要继续复制已不存在的 WordPress Admin Rule，也不要阻挡公开页面渲染所需 CSS、JavaScript 与 Image。
- 每个 Disallow 都有记录清楚的 Crawl-management 目的。
- 规则匹配 Production 的准确大小写、Slash 与 Parameter Pattern。
- Specific Allow Exception 能按 Longest-match 规则生效。
- 没有意外阻挡公开页面或必要 Rendering Asset。
- 没有把规则当成 Security、Canonical 或 noindex 替代。
- Specific Crawler Group 依据该 Crawler 的公开文档。
- Sitemap Line 使用最终 Production Absolute URL。
- Staging Rule 不能静默复制到 Production。
了解 robots.txt Response Failure 的影响
robots.txt 属于运营基础设施。Google 通常缓存约 24 小时，Refresh 失败时可能更久，所以改变需要传播时间，而 Outage 可能影响整个 Host。
| Response | Google 文档说明的处理 | 运营行动 |
|---|---|---|
| 2xx | 处理收到的有效规则 | 检查 Content Type、Encoding 与实际规则 |
| 3xx | 至少跟随五次 Redirect，之后视作 404 | 尽量直接在 Canonical Host Root 提供 |
| 4xx，429 除外 | 视为没有 robots file，所以没有抓取限制 | 不要用 401/403 限制抓取速度 |
| 429 | 与普通 4xx 分开处理 | 调查容量与 Rate Limiting |
| 5xx | 最初停止抓取 12 小时；重试时可能使用 Last Good Version | 当作紧急 Host Reliability 问题 |
| DNS/Network Failure | 当作 Server Error | 修复 DNS、TLS、Edge 或可用性 |
| 文件超过 500 KiB | Limit 后内容被忽略 | 合并规则并重整 URL Pattern |
| Cached Old Version | 可能持续约 24 小时，失败时更久 | 等待传播并验证 Server Delivery |
robots.txt 不能移除或保护内容
| 需求 | 正确方法 | robots.txt 为什么失败 |
|---|---|---|
| 让可访问 HTML 不出现在 Google | 可抓取 Meta Robots noindex | Blocked Crawler 无法读 Page Rule |
| 让可访问 PDF/非 HTML 不索引 | 可抓取 X-Robots-Tag noindex Header | 没有 HTML Meta，阻挡也会隐藏 Header |
| 准备长期处理时紧急隐藏结果 | Search Console Removals 加长期 noindex/removal/auth | 单独 Robots 改变不即时也不持久 |
| 保护客户、Staging 或机密资料 | Authentication、Authorization 与 Network Control | robots.txt 公开且只是建议，还会暴露 Path |
| 无替代内容下线 | 404/410，并从 Link/Sitemap 移除 | Disallow 让 URL 与外部引用悬而未决 |
| 永久移动内容 | 301/308 到最接近同等页面 | Disallow 阻碍正常处理 Move |
| 集中重复 URL | Canonical Signal 或 Permanent Redirect | Block 会妨碍读取 Canonical Signal |
按 WordPress、静态站与 Application 生成
| 平台 | 建议 Source of Truth | 上线风险 |
|---|---|---|
| WordPress Core | 已发布公开内容与适合时的 Native Sitemap | SEO、Cache 或 Multilingual Plugin 建立第二个冲突 Index |
| WordPress 加 SEO Plugin | 只选择一个与最终 Canonical 设置一致的 Provider | 未比较就同时提交 Native 与 Plugin 清单 |
| Static Site Generator | 公开可索引 Route 的 Build Manifest | 每次 Build 都改 lastmod 或加入 Utility Page |
| Headless CMS | Published Record 加 Route、Locale 与 Canonical State | Unpublished 或 Orphan Record 泄漏进 XML |
| Ecommerce/Application | Product/Category Availability 与 Index-decision Service | Facet、Session、Sort Parameter 与 Soft-delete 扩大清单 |
| 多个 Host | 按 Host 建清单，只在有意且已验证时 Cross-submit | 假定一个 Robots File 控制全部 Subdomain |
保护 WordPress 到静态站迁移
- 导出旧 Sitemap 清单、公开 Crawl、Canonical、Hreflang 与索引指令。
- 每个旧 URL 对应不变 Route、真正同等 Redirect 或有理由的 404/410。
- 以 Authentication 保护 Staging，并从 Production Sitemap 排除该 Hostname。
- 根据最终 Published Route Manifest 生成 Sitemap，不使用盲目 Crawl。
- 按 Content Type 与 Locale 比较新旧首选清单。
- 移除 Redirect、noindex、Error、搜索 Result 与 Non-canonical Variant。
- 验证 XML、Child Index、Limit、Response 与 Production Hostname。
- 在同一 Release 发布 Redirect、Page、Sitemap 与 robots.txt。
- 确认 Production Robots 没继承 Staging 的 Site-wide Disallow。
- 上线后抓取全部旧 URL 与全部新 Sitemap URL。
- 在 Production Search Console Property 提交稳定 Sitemap Index。
- 监控 Submitted Cohort、Selected Canonical、Server Error 与 Organic Landing Page。
按正确顺序诊断问题
| 现象 | 可能层级 | 先收集的证据 |
|---|---|---|
| Sitemap “Could not fetch” | Access、DNS、Redirect、Content Type 或 Property Scope | 直接 HTTP Response 与 Report Detail |
| XML Parsing Error | Encoding、Escaping、Namespace 或 Malformed Markup | Raw Response 与 XML Validator Location |
| Submitted URL Blocked by robots.txt | Inventory 与 Crawl Policy 冲突 | 准确 Entry 与 Matching Rule |
| Submitted URL Noindex | Publishing/Index Decision 冲突 | Rendered/Head Response 与 Generator Logic |
| Submitted URL 是 Redirect | 旧或错误 Canonical 清单 | Redirect Destination 与 Route Manifest |
| Google 选择不同 Canonical | 重复或信号不一致 | Page Pair、Link、Canonical、Hreflang 与 Sitemap |
| 重点 URL 不在 Sitemap | Generator、Publishing State 或 Partition Error | Source Record 与 Child Assignment |
| 大量不明 Unsubmitted URL | Facet、Parameter、旧 Route 或 Crawler Trap | Page Indexing Filter、Crawl 与 Log |
| robots 已改变但测试仍旧 | Cache 或 Edge Delivery | Response Header、Host Variant 与经过时间 |
| 提交后流量改变 | 不能证明 Sitemap 因果 | Query、Page、Release、Demand 与 SERP Cohort |
使用上线 Gate，不只目测
- Production Host 的 robots.txt 与全部 Sitemap 返回 HTTP 200。
- 文件使用 UTF-8，XML 与每个 Namespace 都能解析。
- Sitemap Index Child Location 完整、唯一且可获取。
- 每个 Listed Page 都是 200、可索引、Canonical 且有内部链接。
- 没有 Redirect、Error、Login、Staging 或 Non-canonical URL。
- 使用 Sitemap Hreflang 时，Locale Cluster 完整且互相对应。
- lastmod 被省略，或连接到实质且受控的修改记录。
- Robots Rule 通过 Allowed、Blocked 与 Exception 代表测试。
- 渲染所需 Asset 保持可抓取。
- Sitemap Index 只用准确 Production Absolute URL 声明一次。
- 旧 WordPress URL 按已批准 Redirect Map 处理。
- Search Console 能获取 Sitemap，而且 Cohort Monitoring 有负责人。
Sitemap 与 robots.txt 常见迷思
- “Sitemap 内全部 URL 都会索引。”它只是 Hint，不是保证。
- “Sitemap 可以取代内部链接。”Orphan Page 仍是导航与架构问题。
- “priority 1.0 会提高排名。”Google 会忽略 Priority。
- “changefreq=daily 会强制每日抓取。”Google 会忽略 Changefreq。
- “新的 lastmod 保证今天重抓。”它只有准确时有用，也没有期限保证。
- “旧 Ping URL 能加速提交。”Google 已停用，并返回 404。
- “robots.txt 会从 搜索 移除页面。”受阻 URL 仍可能在没有抓取内容下被索引。
- “Disallow 可以保护机密 Path。”文件公开，而且没有 Authorization。
- “Noindex Page 再 Block 更保险。”Block 可能让 Google 无法读取 noindex。
- “一个 Robots File 控制 www、Subdomain 与 HTTP。”Scope 取决于 Protocol、Host 与 Port。
- “越多 Disallow 越能节省小网站 Crawl Budget。”复杂性可能制造更大故障。
- “Search Console 提交成功代表 SEO 完成。”它代表文件处理，不代表页面质量或排名。
常见问题
每个网站都需要 XML Sitemap 吗？
不一定。Google 表示内部链接完整的小网站可以不用也被发现；但 Sitemap 对上线、迁移、多语言、专属媒体与监控仍很有用。
Sitemap 会保证抓取或索引吗？
不会。它只是提示；URL 仍需可访问、可索引、Canonical、有用，并被 Google 系统选择。
Redirect 或 noindex URL 应放进 Sitemap 吗？
不应该。首选可索引清单应排除 Redirect、Removal、noindex 与 Non-canonical Duplicate。
一个 Sitemap 可放多少 URL？
最多 50,000 个 URL 或未压缩 50 MB，以先达到的限制为准；更多应使用 Child Sitemap 与 Sitemap Index。
每个 URL 都要使用 lastmod 吗？
只有系统能持续准确提供最后实质修改日期时才使用；信心不足可以省略。
Priority 与 Changefreq 对 Google 有帮助吗？
没有。Google 明确表示会忽略这两个字段。
Noindex URL 也应该被 robots.txt 阻挡吗？
不应该。Google 必须先抓取 URL，才能读取 Robots Meta 或 X-Robots-Tag noindex。
robots.txt 可以保护 Staging Website 吗？
不能。应使用 Authentication 或 Network Access；公开 Disallow 只是建议，还会暴露 Path。
robots.txt 与 Sitemap 应放在哪里？
robots.txt 必须位于准确 Host Root；Root-level Sitemap 提供简单全站 Scope，再以 Absolute URL 放进 robots.txt 与 Search Console。
怎样监控 Sitemap？
先看 Sitemaps Report 的 Fetch/Parsing，再按 Sitemap 筛选 Page Indexing，检查代表 URL，并比较有意义的 Cohort。
官方参考资料
- Google: build and submit a sitemap
- Google: sitemaps overview
- Sitemaps.org protocol
- Google Search Console: Sitemaps report
- Google Search Console: Page indexing report
- Google: introduction to robots.txt
- Google: create and submit a robots.txt file
- Google: how Google interprets robots.txt
- IETF RFC 9309: Robots Exclusion Protocol
- Google: block indexing with noindex
- Google robots meta specifications
- Google: localized page versions and hreflang
- Google: combine Sitemap extensions
- Google: image Sitemaps
- Google: Sitemap ping endpoint deprecation and lastmod
分享 Live Sitemap Index、robots.txt、Search Console State 与 URL Pattern，我们可以对照 Canonical、Response、Locale Route 与 Migration Redirect 审核清单。
Google 排名如何演变：从 PageRank 到现代搜索系统2026年9月2日
Google AI 内容与 SEO：什么被允许、什么是垃圾内容，以及怎样安全发布2026年9月2日
Google Florida Update 2003：事实、理论与 SEO 教训2026年9月2日