9 月 15 日，前 OpenAI 研究员 Diogo Almeida 发布了 Jev 。 几天内获得 3000 万次浏览，上万条讨论随之出现，这个看似简单的“超级分类器”突然成了 AI 圈最热门的话题之一。 Jev框架的设计直接颠覆传统LLM的思维定势，当别家模型还在卷谁的思维链更长，推理能力更强，能推多少数学定理的时候，Jev直接开辟一条新的赛道说： 天下武功唯快不破，管你这那的，你就说快不快吧！ 想要了解为什么Jev会在短时间迅速引爆市场，我们需要了解 传统LLM永远的痛 —— 实时性 。 前言、传统模型的速度指标 对于传统文本生成式的模型来说延迟主要指的是两个指标 TTFT(首字延迟) 以及 生成速率（Tok / s） 。 首字延迟评价的是 响应速度 ：即LLM收到请求后输出第一个token所需的时间，这个时间通常需要 1～2s，如果开启思考模式甚至需要30s以上， 1s内算得上是非常优秀了。 生成速率评价的是 持续输出 ：即平均每秒输出内容的速率，通常情况下约为 50 tok/s 。DeepSeek 凭借工程优化，DeepSeek V4.1 Flash 据称可达到 400 tok/s ，已经是非常惊人的速度。 下面是主流模型的首字延迟 & 生成速率对比： 一、人机交互的科学 人机交互是一门研究“人与系统如何高效交互”的科学，其中一个最基础、也最实际的问题就是：系统到底要多快，用户才会觉得它足够快？ 时间感知能力 人们对于时间的感知是非线性的，人机交互泰斗 Jakob Nielsen 提出过 人机交互 0.1 / 1 / 10 秒原则 ： 0.1 秒以内，用户感觉系统是“立即响应”的。 1 秒以内，用户虽然能察觉延迟，但思路基本不会被打断。 10 秒左右是维持用户注意力的一个重要上限；再长，用户容易开始做其他事情。 这套理论被广泛应用于 网页交互 ， 系统优化 等领域，而对于LLM来说这意味着： 等待时间 用户体感 对 LLM 的含义 < 0.1 s 几乎即时 UI 点击反馈、发送状态 0.1–1 s 很流畅 理想首字延迟 1–2 s 可明显感知，但基本舒服 Chat LLM 推荐范围 2–5 s 开始感觉“在等” 最好显示“思考中/生成中” 5–10 s 等待感很强 需要明确进度或 reasoning 状态 >10 s 注意力容易转移 必须给持续反馈，否则体验明显下降 传统的LLM瞄准的就是 1 ~ 2s这个区间，在生成质量以及用户体验中寻找平衡。 人类的理解速度 传统AI的使用场景主要限定在文档/代码生成此类场景，此类任务存在一个理论输出上限 —— 人类的阅读理解速度。 通常情况下，人们真正理解内容的速率平均约为 5.27 tok/s ；即使在快速浏览时，一般也不超过 10 tok/s [1] 。 即使考虑思维链以及其他因素，当LLM输出速率达到 30 tok/s 以上的时候，后续的速度提升对人类的体感提升就非常有限了。这也是主流模型的吞吐基本都在 50 tok / s 左右。 不是快不了，是50更有性价比！毕竟周四的KFC也只要 V50! 二、Jev解决了什么 如果说传统LLM解决的是文本为核心的交互， Jev则瞄准的是更为刁钻的实时性交互的需求 。 当任务从文本为核心转向需要快速反应的场景，那么传统LLM的弊端直接暴露无疑。 如果说文本生成任务的 1s 尚可接受， 而智能驾驶领域时速 100km/h 的情况下，车辆将驶出接近30m，这个时候 毫秒之差，天壤之别 。 而这些场景并不少见，例如： 场景 典型时间尺度 为什么延迟敏感 自动驾驶 / 机器人控制 10ms–100 ms 环境持续变化，晚一步意味着状态已经改变 工业控制 / PLC 1μs–10 ms 控制环需要固定周期执行 AR / VR 10–20 ms 延迟过大会产生视觉与身体运动不一致 数据库 OLTP 1–50 ms 一次页面请求可能串行执行很多 SQL 搜索引擎 Ranking 10–100 ms 检索、粗排、精排多级串行 LLM Agent 多步推理 100 ms–秒 一次任务可能调用模型/工具几十次 Jev的出现天然的填补了这些场景的应用，特别是目前正处于： 具身智能爆发前的黎明时刻，Jev的出现无疑是推动了具身智能发展的巨大动力。 三、Jev的底层原理 为什么 Jev 可以做到 传统LLM做不到的高响应，这是因为他舍弃了LLM生成式冗长的自回归过程，直接跳过过程输出答案。 近年来LLM的突破主要依托两大助力： Transformer 通过 Attention 有效建模上下文关系，并在训练和 Prefill 阶段具有很强的并行计算能力。 强化学习技术的发展使得模型的输出与人类认知对齐，SFT不断将模型性能卷到新的高度。 传统 LLM 的输出目标是一段可变长度文本，因此通常采用 自回归生成 ：每生成一个 Token，都依赖此前已经生成的内容。 对于复杂推理任务，为提升正确率，模型往往还需要消耗额外的 reasoning tokens。 因此，即使 Transformer 的 Prefill 可以高度并行， Decoding 阶段依然存在天然的串行瓶颈。 而Jev则直接设想 跳过中间过程 ，直接将下游任务从需要迭代的文本生成的任务，替换为单次推理生成的多分类任务。 他们迁移强化学习的理念，提出 RLCD（Reinforcement Learning for Calibrated Decisions） ，将学习的目标从输出高质量文本，直接转向做高质量决策。同时将模型回归概率与真实概率对齐（他们声称）。 这想法极度暴力简单，甚至一度被网友嘲讽是换汤不换药的“分类器”，是2026年最大的炒作。 但是跟传统的多分类任务相比，Jev具有下面不具有的 独特优势 ： 通用分类器 ：允许用户在推理阶段通过自然语言定义“需要判断什么”以及“有哪些候选答案”，真正意义上的 zero-shot 开放推理。 概率化决策： “Jev 将概率校准作为核心训练目标”，TypeSafe 对 Jev 的定位也特别强调 calibrated probabilities，即希望一个长期输出 0.8 的判断，其实际正确率能够接近 80%。 高度并行性 ：一次理解上下文，同时完成大量独立决策，天然适合 Agent 中大量、高频、细粒度的“小决策” 写在最后 即使Jev最后的效果跟上限达不到市场预期，但是也许其历史地位就像 哥伦布立住的“鸡蛋” ，他验证了某条技术的可行性，甚至引发了市场的极大关注。 那么以后这条追求高响应速度的赛道只会越来越成熟，会有越来越多的公司押注这条赛道，也会有更多类似技术涌现，为Agent开启下一个阶段打下基础。 PS：苦于没有申请到 Jev 只能自己部署开源版本的 Nimble（下篇文章会介绍部署细节以及代码介绍哦）。如果感兴趣的话，可以点个关注哦～ 参考链接 [1] Reading speed: A review of the literature [2] Artificial Analysis：模型排行榜 2 个帖子 - 2 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/9/23 02:44:01