Cloudflare Blog – 15 Oct 26 Cloudflare and OpenAI: making AI discovery better for everyone How Cloudflare and OpenAI are working together to help AI find useful content, keep up with changes, and make fewer wasted requests – making the experience better for users and website owners alike. [!quote]+ 如果AI找不到AI来优化你的网站也没什么用。某人的问题答案可能已经在你的网站上：你花了一周时间编写的安装指南，或者是使用产品的第一手经历，以及决定他们是否购买的细节。随着越来越多的人向人工智能寻求帮助，你希望这些系统能找到你的作品，准确呈现，并把感兴趣的人推荐给你。你还想控制他们如何访问你的网站。 Cloudflare和OpenAI于2026年7月 启动了一项研究试点 ，正是针对这些兴趣。我们想了解Cloudflare网络的信号是否能帮助ChatGPT用户更高效地发现新内容。 今天，我们将分享早期结果。到目前为止，答案是响亮的肯定的：试点项目将此前未知的页面纳入了OpenAI的搜索索引，为ChatGPT提供了更多资源，帮助人们找到相关且及时的信息。在此过程中，我们了解了是什么让一个页面值得被发现，以及人工智能系统如何利用网络。 [!quote]+ 寻找更多网络信息 网络上充满了具体细节。修理洗衣机的人需要自己型号的说明书。申请护照的人需要符合当前的要求和费用。选择本地餐厅的人需要最新的菜单和营业时间。找到合适的页面可能是答案是错误答案和真正有用的答案之间的区别。即使很少有其他网站链接到这些页面，这些页面依然有价值。 在之前的网络版本中，发现性是能够登上搜索结果页面的顶部。然后就由访问你页面的人来判断信息价值，预订那张桌子，申请护照。随着人们越来越依赖人工智能来获取信息和完成任务，可发现性以新的方式变得重要。人工智能系统需要找到正确的来源，理解哪些有用，并将人们与相关信息连接起来——无论是通过答案、引用，还是访问网站本身。 Cloudflare的网络提供信号，帮助OpenAI的搜索爬虫在网络上发现更多有用的页面，从而向ChatGPT用户展示。OpenAI随后会根据相关性和帮助程度独立评估和排名这些页面的出现情况。这共同形成了一个反馈循环，既能提升发现率，也能提升人们发现信息的质量。 此次联合试点使用了 Cloudflare 总网络中 ~1% 的参与队列，使 OpenAI 能够发现并索引数亿个新网页，帮助人们发现更多有用内容，并通过 ChatGPT 回答更多问题。通过链接回相关来源，ChatGPT 搜索还为人们提供了探索原始内容、发现其背后网站和出版商的方式。 借助 GPT-6和智能界面 ，OpenAI也让ChatGPT成为更优质的购物、学习和寻找答案的地方，提供更多视觉化、互动性的体验，满足人们的需求。这项工作补充了这些进展，帮助ChatGPT发现来自网络各处的更多有用、最新的信息。 [!quote]+ 从发现到有用的答案 找到一个网址只是开始。我们需要知道它是否会引导到某人可访问的页面，该页面是否有独特之处，以及它能帮助某人做什么。 例如，我们已经了解到，自动化流量能让一个不存在的页面看起来更有趣。机器人反复要求不存在的文件。有些网站几乎将任何地址重定向到他们的首页。其他地址会获得相同内容的副本。识别这些模式能让我们在爬虫获取页面前减少浪费工作，并以有利于网站所有者的方式提升效率。 我们还在测试识别和标记潜在有害页面的信号，增加了一层信息支持更安全、更可靠的发现。一个合法网站可能只有一个被攻破的页面，比如攻击者植入的假登录表单。标记那一页而不是整个域名，可以保障用户安全，同时不会惩罚网站所有者。初步结果表明，这些信号有助于识别应被排除在索引之外的页面。 [!quote]+ 简化证据发现 随着越来越多的人使用人工智能发现信息，网站所有者获得了接触感兴趣受众的新机会。对于选择将内容开放给AI系统的用户来说，这些改进使发现变得更轻松高效。 频繁地获取每一页，对所有人来说都是昂贵的。对于网站所有者来说，反复下载未修改页面的爬虫只会增加负载，却没有任何好处。 上述信号就是我们避免这种情况的方法。过滤功能可以让爬虫远离不存在或重定向到其他页面。变更信号告诉他们页面何时值得再次访问，何时不值得。 需要找到合适的平衡。在页面被评估和索引时，发现新页面初期可能会增加爬取行为。目标是不断发现并保持最新，同时减少所需的工作量。对Cloudflare客户来说，这意味着不必要的负载更少。对OpenAI来说，这意味着更多搜索资源被用于帮助人们的信息。 [!quote]+ 让参与变得值得 下一阶段将基于我们所学到的经验：改进页面选择，测试更快更可靠的变更信号，并衡量内容被发现后发生的变化。 我们将继续与OpenAI合作，了解更好的网站发现如何转化为实际的业务成果，并会持续分享我们所学到的内容。 域名所有者的选择始终至关重要。关于某个页面的信号并不意味着访问该页面的权限。本研究利用网络元数据进行搜索和发现，而非共享页面内容以进行模型训练。 您可以使用 Cloudflare 的 AI 爬取控制 来理解和管理 AI 系统如何访问您的网站。 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：服务器与云资源
  • 分类依据：内容涉及服务器、云资源或网络线路
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/15 22:09:44