300 Token/秒的Ultrafast层:智能体实时化的最后一块拼图
8 倍速度意味着什么
OpenAI DevDay 推出 Ultrafast 层:GPT-6 Astra Ultrafast 在 Codex 中达到 300 token/秒的生成速度(8 倍提升),API 侧 6 倍,面向 Pro 500 与 Enterprise 客户开放。
速度改变产品形态的逻辑链
第一步:等待消失。 300 token/秒意味着一次典型回复亚秒级完成,用户感知不到延迟。
第二步:交互模式回摆。 过去因为慢,智能体产品都设计成“提交任务-等待-收结果”的异步模式。够快之后,边聊边办的实时模式回归——用户体验代差拉开。
第三步:多智能体并行成为默认。 三个智能体同时干活实时汇报,人只在节点拍板。这在每次调用 3 秒的时代不可行(3×3×N 秒的等待会杀死体验),在亚秒级时代成为自然形态。
速度、价格、智能的不可能三角在瓦解
过去模型选型是三角权衡:智能、价格、速度,取二舍一。现在:
- Astra:最智能
- Sol:五分之一价格
- Ultrafast:8 倍速度
三角的三个顶点都在快速向外扩。模型选型从“取舍题”变成“组合题”——用谁、在哪用、怎么混用。
企业落地建议
- 实测再决策:跑分接近的模型,真实场景延迟可能差数倍——用你的典型任务实测端到端耗时
- 为实时场景保留 Ultrafast 配额:客服、驾驶、随聊场景值得为速度付溢价
- 重审异步设计:如果产品里有“请稍候”的等待页,用新速度重新设计这个流程
结语
带宽之于互联网、算力之于移动互联网,速度之于智能体时代——底层指标的跃迁,最终都会变成产品形态的换代。300 token/秒,就是那个新刻度。