AI 引用的网页从哪里来?比起等 AI 爬虫,先把搜索引擎收录做好
AI 回答里的引用链接,大多是 AI 回答时通过搜索引擎检索到的,而不是 AI 爬虫抓取的。国内各 AI 平台背后的搜索引擎不同,品牌应先确保官网在 Bing、搜狗、头条、神马和百度都被正确收录。
AI 用到网页的两条路
做 GEO(生成式引擎优化)时,常听到一种说法:AI 爬虫会来抓你的网站,所以要对 AI 爬虫友好。这句话没错,但只说对了一半。AI 回答里那些可以点开的引用链接,大多数不是 AI 爬虫抓来的,而是 AI 在回答时通过搜索引擎搜到的。
AI 用到一个网页,有两条完全不同的路径:
| 训练数据 | 联网搜索(实时检索) | |
|---|---|---|
| 数据从哪来 | Common Crawl 等公开数据集、GPTBot 一类的训练爬虫 | 搜索引擎索引(平台自建或第三方) |
| 对品牌的作用 | 让模型「记住」品牌 | 回答时「引用」网页 |
| 生效时间 | 取决于模型多久更新一次训练数据 | 页面被收录后即有机会被引用 |
| 品牌能否影响 | 很难 | 可以,通过收录和内容 |
品牌 AI 能见度监测里看到的「引用」,全部来自第二条路。
被 AI 爬虫抓过,不等于会被引用
多伦多大学 2026 年的一项研究,跟踪了 90 天内 15.8 万个 AI 回答、46.8 万条引用,结论很清楚:ChatGPT 引用的每一个页面,都来自它回答时自己发起的搜索。哪些页面能被搜到,可以解释 32% 的引用差异;FAQ 模块、结构化数据、页面速度这些页面特征,只能解释 2.8%。
GPTBot、ClaudeBot 这类训练爬虫,抓取的内容主要用于训练模型,不直接产生引用。回答时引用谁,由检索和搜索索引决定。
训练数据也不是没有作用。同一项研究发现,ChatGPT 提到的品牌里约 46% 没有任何引用页面支撑,来自模型自己的记忆。但这部分品牌很难在短期内影响。想提高被引用的机会,关键在搜索引擎收录。
国内主流 AI 平台背后是哪个搜索引擎
国内几个主流 AI 平台的联网搜索,用的并不是同一个搜索引擎,也大多不是百度:
| AI 平台 | 联网搜索的主要来源 |
|---|---|
| DeepSeek | 博查 AI 搜索 API(据 2025 年媒体报道) |
| 腾讯元宝 | 搜狗搜索、微信搜一搜(公众号、视频号);2026 年 11 月上线独立的元宝搜索 |
| 豆包 | 今日头条、抖音的站内搜索,并接入 Bing 覆盖全网 |
| 千问 | 夸克搜索(阿里云联网搜索文档) |
| 文心一言、百度 AI 搜索 | 百度搜索 |
以上主要来自公开报道和平台文档。各平台不会公开完整的检索机制,也可能随版本调整。这也解释了为什么DeepSeek 和豆包引用的网页几乎不重合:它们搜的根本不是同一个索引。
这意味着,只做了百度收录的网站,在 DeepSeek、元宝、豆包、千问里不一定能被找到。百度对文心一言和百度 AI 搜索依然重要,详见百度 AI 流量分析一文。
一个观察:被挡在搜狗之外的网站
在一个工业 B2B 品牌的月度监测中,我们观察到:该品牌的海外官网对国内多家搜索引擎的爬虫(包括搜狗、头条、夸克)返回了 403 拒绝访问。
接下来三个月,依赖搜狗和微信索引的元宝,对这个网站的引用下降了约四成;豆包、千问、DeepSeek 对这个网站的引用则没有出现类似的下降。
一种合理的解释是:后三个平台可以通过其他索引(例如 Bing 或第三方搜索 API)拿到这个网站的内容,而元宝主要依赖搜狗体系。这个观察来自单个品牌,不能当作定论,但它说明了一件事:同一个网站,在不同 AI 平台上的表现,取决于它在各自背后搜索引擎里的收录状态。AI 的信源本来就在每月大幅更换,收录上的缺口会让品牌更难留在信源里。
品牌官网的收录清单
结合以上发现,建议品牌按下面的顺序检查官网的收录:
- 先检查 sitemap。sitemap 里的网址要是真实可访问的完整地址,并在 robots.txt 中写明 sitemap 位置。这是所有搜索引擎收录的前提,却常被忽略。
- Bing:提交到 Bing Webmaster Tools,并开启 IndexNow,让新页面更快被发现。Bing 与 ChatGPT、豆包都有关联。
- 搜狗与微信:提交到搜狗站长平台,同时把重点内容同步发布到微信公众号,这是元宝最重要的信源之一。
- 头条搜索:提交到头条搜索站长平台,覆盖豆包的字节系信源。
- 神马:神马是阿里旗下的移动搜索,和夸克同属一个体系,值得一并提交。
- 百度:对文心一言和百度 AI 搜索仍然重要,照常维护,可参考我们的 SEO 与 SEM 搜索营销服务。
- 服务器与日志:海外服务器和防火墙规则可能误拦国内爬虫,见中国官网两问。定期查看 Bingbot、Sogou、Bytespider、YisouSpider 等爬虫的访问记录,确认它们没有被拒绝访问,也没有拿到大量 404。
验证方法很简单:在每个搜索引擎里用「site:你的域名」加上产品关键词搜一下,看重点页面是否已被收录。想系统了解官网在中国各渠道的表现,可以从一次数字足迹诊断(DFP)开始。
收录之后,内容要和用户的问法对上
收录解决的是能不能被搜到。被搜到之后,哪个页面被引用,研究给出的答案也很一致:页面标题和段落要和用户实际的提问对上。
AI 会把用户的问题改写成多个子查询去搜索,再按语义相似度挑选页面。一个标题叫「产品特点」的页面,很难匹配「这类设备怎么选型」这样的问题。把常见问题直接写成小标题,并在下面给出具体参数和答案,比单纯加一个 FAQ 模块或结构化数据更有效。更多内容写法,可以参考GEO 实战入门。
GEO 不是一门全新的玄学。AI 回答的引用建立在搜索引擎收录之上,而国内每个 AI 平台背后又是不同的搜索引擎。最务实的第一步,是确认官网在 Bing、搜狗、头条、神马、百度都被正确收录,再按用户的问法优化内容,并持续监测各平台的引用变化。我们的监测方法可以参考如何用 BrandLens 诊断品牌的 AI 能见度。
百度收录慢的具体排查步骤,见外企官网在百度收录很慢怎么办;DeepSeek 的引用特点和做法,见怎样让品牌出现在 DeepSeek 的回答里。
关键数据与来源
| 数据 | 数值 | 来源 |
|---|---|---|
| 研究跟踪的 AI 回答数 / 引用数(90 天) | 15.8 万 / 46.8 万 | Chen & Koudas, What Drives AI Citations?, 2026 |
| 能否被搜到可解释的引用差异 | 32% | Chen & Koudas, 2026 |
| 页面特征可解释的引用差异 | 2.8% | Chen & Koudas, 2026 |
| ChatGPT 品牌提及中没有引用页面支撑的比例 | 46% | Chen & Koudas, 2026 |
| DeepSeek 联网搜索由博查提供 | — | 每日经济新闻,2025 年 3 月 |
| 元宝搜索上线独立网页端 | 2026 年 11 月 | 腾讯新闻 |
| 联网搜索支持夸克搜索引擎 | — | 阿里云文档 |
| 匿名工业 B2B 品牌:元宝对其海外官网的引用变化(3 个月) | 下降约四成 | Dékuple China 品牌 AI 能见度月度监测,2026 年 9–11 月 |
常见问题
要不要在 robots.txt 里屏蔽 GPTBot 这类 AI 爬虫?
GPTBot 一类的训练爬虫主要影响模型训练,不直接决定回答时的引用。是否屏蔽可以按版权和服务器负载来决定。但要注意不要误拦搜索引擎爬虫和 AI 平台的检索爬虫,否则会直接影响收录和引用。
官网已经做了百度 SEO,还需要做别的收录吗?
需要。DeepSeek、元宝、豆包、千问的联网搜索分别依赖博查、搜狗与微信、头条与 Bing、夸克等索引,大多不是百度。只做百度收录,在这些平台上不一定能被找到。
怎么知道官网有没有被这些搜索引擎收录?
在各搜索引擎里用「site:你的域名」加产品关键词搜索,看重点页面是否出现;同时在各家站长平台查看收录数据,并检查服务器日志里对应爬虫的访问状态码。
页面被收录后,就一定会被 AI 引用吗?
不一定。收录只是前提。AI 会按语义挑选和问题最匹配的页面,标题和段落要直接回答用户的问题,并给出具体信息。建议按月监测,观察各平台引用的变化。