Google 更新用户生成垃圾内容指南:外资品牌的中国官网,哪些页面不该被收录?

封面:Google 更新用户生成垃圾内容指南,中国官网哪些页面不该被收录
核心结论

Google 更新指南:只给拿到链接的人看的页面应默认 noindex。中国官网先查微信分享参数、渠道落地页、感谢页、预览页和站内搜索页,且别用 robots.txt 屏蔽要 noindex 的页面。

Google 这次改了什么

2026 年 10 月 26 日,Google 搜索中心在文档更新日志里记了一条:更新了防范用户生成垃圾内容的指南,新增「禁止将通过链接共享的内容编入索引」和「在 Search Console 中监控滥用行为」两部分。目的是让不打算出现在搜索里的用户页面留在索引之外,并更早发现垃圾内容。

这是一次文档更新,不是算法更新,Google 没有点名任何产品,也没有给出执行日期。但它把一个判断讲得很清楚,适用于任何有表单、分享按钮或工具页的网站,包括很多外资品牌的中国官网。

新增的判断:这个页面是给搜索的,还是给拿到链接的人的

指南新增的一节叫「只将面向搜索的内容编入索引」,意思是:如果服务允许用户创建可分享的页面、生成的结果或互动工具,要先想清楚这些内容是希望被搜索引擎找到,还是只给拿到链接的人直接访问。如果页面是为了分享、协作或使用功能而存在,就应默认加 noindex(robots meta 标记或 X-Robots-Tag 响应头),或在 robots.txt 里禁止抓取。

页面存在的目的例子怎么处理
希望被搜索找到首页、服务页、产品页、洞察文章、案例正常收录,放进 sitemap
只给拿到链接的人看感谢页、预览页、分享出来的结果页、站内搜索结果默认 noindex,不放进 sitemap

中国官网上常见的 6 类「拿到链接才看」的页面

外资品牌的中国官网很少有论坛或评论区,但下面这些页面几乎都有,而且常常没人管它们会不会被收录:

  1. 微信转发带出的参数网址:文章被转发到微信后,链接后面常会多出 from=singlemessage 之类的参数。页面内容不变,但对搜索引擎来说是另一个网址,要用 canonical 指回原文。
  2. 渠道二维码和 UTM 落地页:展会、线下物料、广告用的带参数链接或专用落地页,用于统计渠道(做法见微信 SCRM 实操指南),通常不需要被搜到。
  3. 留资后的感谢页和资料下载页:只有提交了表单的人才该看到,被收录后还可能让人绕过表单直接拿资料(表单工具见B2B 线索管理两问)。
  4. 预览和测试链接:内容管理系统生成的草稿预览、测试环境页面。
  5. 站内搜索结果和筛选页:每个搜索词都能生成一个页面,数量没有上限。
  6. 经销商或客户专区:登录后才能看的资料、价格和下载页。

这些页面本身没问题,问题在于被大量收录后,会占用搜索引擎抓取正式页面的资源,也会让搜索结果里出现一批没有价值的页面。

最常见的错误:robots.txt 屏蔽和 noindex 一起用

很多人的第一反应是「双保险」:robots.txt 屏蔽,同时页面上加 noindex。Google 的noindex 说明专门提醒,这样做 noindex 反而不生效:页面被 robots.txt 屏蔽后,抓取工具读不到页面上的 noindex,如果有其他网页链接过来,这个网址仍可能出现在搜索结果里。

做法结果
robots.txt 屏蔽 + 页面加 noindex抓取工具进不去,看不到 noindex,网址仍可能被收录
允许抓取 + 页面加 noindex(或 X-Robots-Tag 响应头)抓取工具读到 noindex,把页面排除在索引外

简单的原则:想让页面「不进索引」,用 noindex;只是想「少浪费抓取」,才用 robots.txt。两者针对同一个页面时,不要叠加。

百度和 AI 搜索怎么办

中国官网的主要流量来自百度。我们没有找到百度对 robots meta 中 noindex 的公开说明,所以对百度更稳妥的做法是几件事一起做:不需要收录的页面不放进 sitemap,带参数的网址用 canonical 指回正式页面,站内不链接到感谢页和预览页,然后在百度搜索资源平台用索引量和抓取诊断观察结果。收录本身的排查方法见外企官网在百度收录很慢,怎么办。

对 AI 搜索来说,这件事同样重要。国内 AI 助手回答问题时,很大程度上依赖搜索引擎的索引来找网页(见AI 引用的网页从哪里来)。索引里正式页面越清楚,AI 越容易引用到你真正想被引用的服务页和文章。

我们用 dekuple.cn 做了一次自查

2026 年 11 月 23 日,我们按指南检查了自己的官网:

页面我们的处理结果
微信分享带参数的文章网址canonical 指回不带参数的原文符合
联系表单页noindex, nofollow符合
文章草稿预览链接noindex,canonical 指向正式文章,且没有被 robots.txt 屏蔽符合
sitemap.xml只列正式页面,不含预览、表单和后台符合
robots.txt对搜索引擎和 AI 爬虫放行,不靠它来「去索引」符合

预览链接那一项最容易出错:如果当初为了「安全」把预览目录写进 robots.txt,页面上的 noindex 就读不到了。

每个月花 10 分钟检查一次

  1. 用 site: 加你的域名在 Google 和百度各搜一次,看有没有感谢页、预览页、带参数的网址。
  2. 给这些页面加 noindex,并确认它们没有被 robots.txt 屏蔽。
  3. 检查 sitemap,只保留希望被收录的页面。
  4. 表单加验证,留言和评价先审核再公开。
  5. 在 Search Console 的「网页索引编制」报告和百度资源平台的索引量里,留意已收录网页数的突然增长(Google 的网页索引报告说明)。

如果你不确定自己官网有哪些页面被收录了、哪些不该被收录,可以从数字足迹诊断开始;收录和排名的长期工作见我们的 SEO 与 SEM 服务,AI 搜索的部分见 GEO 服务。

关键数据与来源

数据数值来源
Google 搜索文档更新日志:2026 年 10 月 26 日条目 更新了防范用户生成垃圾内容的指南 Google 搜索中心
防止网站和平台存在用户生成的垃圾内容 新增「只将面向搜索的内容编入索引」 Google 搜索中心
使用 noindex 阻止搜索引擎编入索引 被 robots.txt 屏蔽的页面读不到 noindex Google 搜索中心
dekuple.cn 自查(2026 年 11 月 23 日) 5 项全部符合 Dékuple China

常见问题

Google 10 月 26 日更新的用户生成垃圾内容指南是算法更新吗?

不是。它记录在 Google 搜索中心的文档更新日志里,属于文档更新,没有点名具体产品,也没有给出执行日期。新增的重点是:只给拿到链接的人看的页面应默认 noindex,并用 Search Console 监控异常。

官网的感谢页和预览页要不要 noindex?

要。感谢页、预览页、站内搜索结果和带参数的落地页都不是为了被搜索找到的,应加 noindex 并且不放进 sitemap。注意不要同时用 robots.txt 屏蔽它们,否则搜索引擎读不到 noindex。

能不能用 robots.txt 加 noindex 双保险?

不能。Google 明确提醒,被 robots.txt 屏蔽的页面,抓取工具看不到页面上的 noindex,网址仍可能因为其他链接而出现在搜索结果里。要去索引就让页面可抓取并加 noindex。

百度支持 noindex 吗?

我们没有找到百度对 robots meta 中 noindex 的公开说明。对百度更稳妥的是组合做法:不需要收录的页面不进 sitemap、带参数的网址用 canonical 指回正式页、站内不链接这些页面,并在百度搜索资源平台观察索引量。