跳至正文

什么是技术 SEO?从抓取与收录开始检查

了解技术 SEO 涵盖什么,并按顺序检查网页访问、robots.txt、noindex、站内链接、网站地图和规范网址。

打开的服务器与刹车零件,表现商品目录的技术检查
Jack Lee
作者 Jack Lee
7 分钟阅读
分享
本文目录

技术 SEO(Technical SEO)改善搜索引擎发现、抓取和处理网站的方式,让网页具备进入搜索结果的条件。它也涵盖影响访客体验的技术部分,例如加载、手机使用体验和安全连接。

一张汽车零件分类页,在你的浏览器里看起来可能完全正常,却因某个设置而无法被 Google 收录。与其重写一张 Google 无法正常访问的页面,不如先找出障碍。

什么是技术 SEO?

技术 SEO 包括抓取权限、收录指令、网站结构、重复网址、重定向和网页性能。修正这些部分,可以恢复重要页面的访问,或避免搜索结果采用错误的网址版本。

页面 SEO关心内容是否回答了搜索需求;技术 SEO 关心网页能否被发现、取得和正确处理。内部链接与页面结构可能同时涉及两者。

Google 通过链接、网站地图等来源发现网址,再由 Googlebot 尝试抓取。Google 会处理内容,必要时运行 JavaScript,然后决定把哪个版本加入索引,也就是提供搜索结果的网页资料库。已收录的网页才有机会成为相关搜索的结果。搜索引擎运作指南会详细解释这些阶段。

发现、抓取、收录和排名是不同的结果。网站地图列了网址,不代表 Google 已经抓取;网页已收录,也不代表会在你想要的搜索中获得排名。先确定问题在哪个阶段,再选择修复方法。

修改内容前,先检查四件事

1. Google 能访问正确的网址吗?

从你希望被找到的确切公开页面开始。不登录网站,打开它,并确认地址没有跳到意料之外的页面。正常的内容页应返回 HTTP 200,表示服务器成功回应,而不是报错。

在 Google Search Console 打开你的网站资源(Property),即你有权限查看的网站或网站部分。把完整网址粘贴到顶部的检查栏,展开网页索引编制(Page indexing),查看网页抓取(Page fetch)和上次抓取时间(Last crawl)。抓取失败可能指向服务器报错、访问限制或其他无法正常提供页面的问题。

这些结果来自 Google 已保存的信息。新页面,或上次抓取后改过的页面,可以选择测试实际网址(Test live URL)。测试成功后,通过查看测试的网页(View tested page)检查取得的 HTML 和截图,确认主要标题、分类介绍和商品链接都在。即时测试成功不等于页面已经收录。

2. 抓取或收录被挡住了吗?

两个字段对应不同的控制方式:

  • 是否允许抓取(Crawl allowed?):说明 robots.txt 规则是否阻止 Google 请求这个网址。
  • 是否允许索引编制(Indexing allowed?):说明 Google 是否在页面 HTML 或 HTTP 回应标头中发现 noindex 指令。

如果重要的公开页面被误挡,应修正对应的规则或发布设置。对于本来就不该出现在搜索中的页面,保留有意设置的限制。robots.txt 指南与收录控制指南会分别说明怎样判断。

Google 必须能够抓取页面,才看得到 noindex。如果抓取已被阻挡,即使「是否允许索引编制」显示 Yes,也不能证明页面没有 noindex。先修复误设的抓取限制,再检查一次。单靠 robots.txt 并不能可靠地把网址移出索引。

3. 访客和爬虫找得到它吗?

沿着商店导航找到分类页。重要页面应该从相关、可访问的页面取得有描述性的链接,不应完全依赖访客使用站内搜索框。

Google 通常可以跟进带有 href、指向有效网址的 HTML <a> 链接。JavaScript 可以插入这样的链接;只有脚本点击操作的做法则较不可靠。同时,把偏好的网址列入 XML 网站地图,让搜索引擎通过这份文件发现页面。

4. Google 是否看到了另一个版本?

规范网址(Canonical URL)是 Google 从重复或非常相似的页面中选出的代表版本。页面上的 rel="canonical" 标签声明你的偏好,但 Google 仍可能另选版本。

在网址检查的已保存结果中,如果有相应资料,就比较用户声明的规范网址(User-declared canonical)与Google 选择的规范网址(Google-selected canonical)。字段没有值,本身不能证明 Google 选错了版本;即时测试也不能告诉你 Google 将选哪个网址。规范网址指南会说明如何对应页面标签、网站地图与内部链接。

如果页面永久搬家,应使用永久重定向把旧网址指向替代页,并更新内部链接。Canonical 标签会保留两个页面的访问;重定向则会把访客带到新地址。

用一张分类页判断问题

以刹车泵分类为例,下面两个网址显示相同的商品,只是顺序不同:

页面示例网址路径希望进入搜索的版本
主分类页/brake-pumps/主分类页本身
相同商品,按价格排序/brake-pumps/?sort=price主分类页

这套安排是:导航链接到主分类页,网站地图列出主分类页,两个页面的 canonical 都声明主分类页的完整网址。

分别检查两个网址。如果 Google 已收录主分类页,并把排序页视为同一规范网址的替代版本,结果就符合预期。不需要让排序页另外成为一条搜索结果。

如果 Google 反而选择排序版本,就比较两页的内容和 canonical 标签,再检查内部链接与网站地图采用哪个版本。修正冲突的信号后,让 Google 重新处理这些变化。

针对某种车型的分类,如果商品选择不同,也满足独立的搜索需求,可能需要保留自己的可收录页面。应根据内容与顾客需求判断,不能只看网址有没有筛选参数。

技术 SEO 还包括什么?

弄清访问与收录控制后,再检查影响页面处理和使用的部分:

  • 手机体验、速度与 HTTPS:检查手机上的导航和购买操作是否可用,连接是否安全。Core Web Vitals衡量加载、交互响应和视觉稳定性;分数满分不代表排名有保证。
  • JavaScript 渲染:如果商品列表由脚本生成,就检查渲染后的页面是否包含它。JavaScript SEO 指南会说明怎样比较初始 HTML 与渲染结果。
  • 结构化数据:供机器读取的标记可以描述页面事实,例如商品价格与库存状态。它必须与可见内容一致,也无法修好被阻挡的页面。
  • 语言版本:用 hreflang对应同一内容的语言或地区版本,而不是把所有翻译页面都指向首页。

大型或频繁更新的网站,还可能需要管理抓取预算(Crawl Budget),也就是 Google 分配给网站的抓取资源,受抓取容量与需求影响。小型网站通常应先修好被挡住的重要页面、坏链接和不稳定的主机,再判断抓取预算是否真是主要问题。

使用 WordPress 的网站,可以通过 SEO 设置指南检查搜索可见性、固定链接和线上页面的相关设置。

先从哪里开始?

选一张重要分类页,记录它的网址、报告的问题、期望的行为和检查日期。这样,你可以自己修复,也可以把具体任务交给开发人员。

修改后,测试实际页面并记录结果。解除阻碍后,可以为希望进入搜索的页面请求收录,再等 Google 重新抓取后查看已保存的报告;重复请求不会加快处理。如果同样的问题影响多个分类,检查共用模板,修复后再抽查几张页面。

常见问题

SEO 和技术 SEO 有什么不同?

技术 SEO 是 SEO 的一部分,重点是访问、处理和技术层面的使用体验。SEO 还包括选择有价值的主题、回答搜索需求,以及建立相关的站外可见度。

页面 SEO 和技术 SEO 有什么不同?

页面 SEO 改善内容与组织方式,技术 SEO 处理页面怎样被提供和读取。把分类介绍写清楚属于页面 SEO;移除误设的 noindex 则是技术 SEO 工作。

技术 SEO 应该从哪里开始?

在 Search Console 检查一张重要网页,先确定它为什么缺失或被以非预期方式处理。解决具体问题后,再检查其他页面是否同样受影响。不必一开始就处理审核工具里的每一项警告。

网页已被抓取,为什么还没有收录?

Crawled – currently not indexed(已抓取,尚未编入索引)这个具体状态,表示 Google 已抓取页面,但在报告对应的时间尚未收录;标签本身没有指出唯一原因。检查渲染内容,以及这页是否比现有页面多提供了有用的信息。Noindex 和重复页面有各自的排除原因,应以你的网址实际显示的原因为准。

分享这篇文章