2026-10-23

300 Token/秒的Ultrafast层:智能体实时化的最后一块拼图

ultrafast 300 tokens agents

8 倍速度意味着什么

OpenAI DevDay 推出 Ultrafast 层:GPT-6 Astra Ultrafast 在 Codex 中达到 300 token/秒的生成速度(8 倍提升),API 侧 6 倍,面向 Pro 500 与 Enterprise 客户开放。

速度改变产品形态的逻辑链

第一步:等待消失。 300 token/秒意味着一次典型回复亚秒级完成,用户感知不到延迟。

第二步:交互模式回摆。 过去因为慢,智能体产品都设计成“提交任务-等待-收结果”的异步模式。够快之后,边聊边办的实时模式回归——用户体验代差拉开。

第三步:多智能体并行成为默认。 三个智能体同时干活实时汇报,人只在节点拍板。这在每次调用 3 秒的时代不可行(3×3×N 秒的等待会杀死体验),在亚秒级时代成为自然形态。

速度、价格、智能的不可能三角在瓦解

过去模型选型是三角权衡:智能、价格、速度,取二舍一。现在:

三角的三个顶点都在快速向外扩。模型选型从“取舍题”变成“组合题”——用谁、在哪用、怎么混用。

企业落地建议

  1. 实测再决策:跑分接近的模型,真实场景延迟可能差数倍——用你的典型任务实测端到端耗时
  2. 为实时场景保留 Ultrafast 配额:客服、驾驶、随聊场景值得为速度付溢价
  3. 重审异步设计:如果产品里有“请稍候”的等待页,用新速度重新设计这个流程
  4. 结语

    带宽之于互联网、算力之于移动互联网,速度之于智能体时代——底层指标的跃迁,最终都会变成产品形态的换代。300 token/秒,就是那个新刻度。