[!quote]+
我们始终致力于满足客户的不同目标。有些客户希望优化内容曝光度，而另一些客户则希望采用最严格的安全策略来保护内容。在这些不同的策略中，有多种方法可以缓解机器人流量。有些机制只是简单地表明您的偏好，并假定爬虫程序出于善意；而另一些方法则通过机器人管理解决方案直接屏蔽内容，从而实现内容的完全安全。
我们理解在网站上维护多层保护措施会很繁琐。例如，有时您的 robots.txt 文件会声明禁止某个爬虫访问您的网站，但您的强制规则实际上并没有阻止该爬虫。当您声明的偏好设置与强制规则不一致时，一些爬虫会以此为由无视您的偏好设置或试图绕过您的强制规则。
几年前，Cloudflare 宣布了一种更简便的方法来禁止网站上的 AI 训练，该方法通过解决以下两个层面的问题来实现：一是管理 robots.txt 文件中的值，该值指示一组固定的主要训练爬虫不要在您的网站上进行训练；二是针对训练爬虫的边缘强制执行拦截。2026 年 7 月 1 日，我们推出了更便捷的选项来管理不同类型的 AI 流量用例。您可以指定如何处理网站上的搜索流量、代理流量和训练流量。
我们正式推出机器人偏好同步功能，所有客户（从免费版到企业版）均可使用。机器人偏好同步功能会将您在 AI 机器人配置中设置的内容同步到 robots.txt 文件中，您可以随时启用或禁用此功能。告别单一场景下的静态文件：我们将帮助您定制 robots.txt 文件，使其反映您针对不同 AI 机器人类别的配置。
1 个赞