数字：一半流量不是人
Cloudflare 9 月 30 日发文《The Internet has a second audience》。其网络 2024 年底平均每秒处理 6300 万 HTTP 请求，如今接近翻倍至 1.15 亿，峰值超 1.5 亿；过去一年 AI Agent 的日均请求量增长超过 1700%。今年，其网络上首次有超过一半的流量不是人类产生的。
更关键的是收入侧：答案引擎读取页面后直接把摘要给读者，访问不再发生。Cloudflare 数据显示，被爬取最重的零售、计算机软件、IT 服务、金融服务等品类，一年内人类流量最多下滑 40%——机器还在来，付费的受众却到不了网站。
Agent 流量和训练爬虫不是一回事
增长最快的自动化流量已经不是爬虫，而是 Agent：替人取页面的软件，通常因为有人问了聊天bot一句。Agent 流量有周节律、假期会回落，跟着人类行为走；它每次有人提问就会回来，流量随提问量增长而不是随发布量增长。拒绝一个 Agent，可能拒绝的是派它来的那个人。
四步应对框架
- 看清谁在访问：AI Crawl Control、Business Insights、BotBase 显示谁在爬、拿走了什么；Web Bot Auth 让 OpenAI、Google、AWS 等运营方对请求做密码学签名，Cloudflare 每周验证超 5000 亿次机器人请求
- 设定规则：7 月起「屏蔽 AI 机器人」单开关拆成 Search / Agent / Training 三个独立控制（含免费版）；9 月 15 日推出 Disallow AI Training——保留搜索索引，同时指示运营方不要用你的数据训练，Apple、Google、Microsoft 已承诺遵守
- 获得报酬：Pay Per Use 按内容实际使用付费（9 月 30 日 beta），Monetization Gateway 基于 x402 协议按请求向 Agent 收费（HTTP 402）；2023 年以来已有 50+ 家出版商与 AI 公司签了授权协议，但几乎全是双边定制，覆盖不了大多数网站
- 降低成本：Markdown for Agents 让 Agent 直接读纯文本版页面，WebMCP 让网站直接暴露可调用动作；7 月 Cloudflare 与 OpenAI 启动联合研究，探索用其网络数据帮 AI 搜索引擎更高效地发现与索引内容
对企业的判断
这篇公告的价值在于把「AEO」从内容优化扩展成了流量结构问题：如果你的网站已经出现在 AI 答案里，下一步要回答的不是「怎么被引用更多」，而是「谁在访问、拿走了什么、值不值得收费」。Cloudflare 的立场是开放标准（x402、Web Bot Auth），域名所有者自选身份提供商和支付通道——对不依赖单一平台的企业，这是一个可以分阶段跟进的方向：先开可见性工具看清流量构成，再决定哪些内容允许训练、哪些按使用收费。
本文基于 Cloudflare 官方博客（2026-09-30）。流量与下滑数据均为 Cloudflare 网络口径，不代表全网；Pay Per Use 与 Monetization Gateway 均处 beta，定价与规则未定。
来源与适用范围
适用范围：评估官网流量结构变化与「被 AI 引用」之后的运营策略时参考，尤其托管在 Cloudflare 上的网站。不适用场景：数据为 Cloudflare 网络口径而非全网统计；Pay Per Use、Monetization Gateway 均处 beta，定价与规则未定；Disallow AI Training 依赖运营方遵守，无强制力。
- The Internet has a second audienceCloudflare · 原始日期 2026.09.30 · 读取核对 2026.10.03
不知道先看哪一步？
和真人顾问聊清楚。
告诉我们你的品牌和客户问题，一起确认采样范围与下一步。