AIGC·非著名程序员
26-09-21 09:06 微博认证:微博新知博主 科技博主 头条文章作者 微博原创视频博主

这两天硅谷开发者社区被一个叫 Jev 的东西刷屏了。创始人的发布帖两天拿了超过 3000 万次浏览、6 万多个赞,DCVC 领投了 4000 万美元种子轮,有媒体说估值大约 2 亿美元。

这个 Jev 到底是什么?

先说背景。造它的人叫迪奥戈·阿尔梅达,前 OpenAI 研究员,参与过 InstructGPT 论文。InstructGPT 是 ChatGPT 的直系前身,就是那套让 AI 学会听人话、像人一样说话的训练方法。这哥们当年帮 AI 学会了聊天,离开 OpenAI 之后花了两年,造了一个不会聊天的 AI。

对,Jev 不会写文章,不会写代码,不会跟你对话。它主动砍掉了大模型最核心的能力:生成文本。它只干三件事:从一堆选项里选一个,给一个东西打个分,判断一件事是还是不是。就这三样,没了。

为什么要这样做?阿尔梅达的解释是,现在的 AI Agent 系统里有一个巨大的浪费。

想象一下,你是客服主管,每天几千封邮件要分拣,退款的归退款,投诉的归投诉。你让大模型来干,它会先写一大段分析:“这位客户情绪偏负面,涉及产品质量,建议归为投诉类……”写得很好,但系统根本不需要这段话。系统要的只是一个词:“投诉”。中间那些文字,没人读,也没软件用,生成出来就白白浪费掉了。

一个复杂的 AI 工作流可能要做上百次这样的判断,每次都让大模型跑一整套生成流程,等于用大炮打蚊子。

Jev 就是把这些“小判断”单独拎出来的专用模型。它的架构是全新的,不是把大模型缩小,而是从头设计了一种并行采样的方式,所有输出一次性生成,不用像大模型那样一个字一个字往外蹦。

快多少?同样一个分类判断,GPT-4o 可能花好几秒,Jev 压到几十毫秒,快了近 200 倍。成本呢?因为不需要生成任何文字,每次调用的算力极小,官方说只有原来的四百分之一。输出 token 的费用直接标了“免费”,原话是“太便宜,不值得计量”。而且它在数学上保证不会出类型错误,幻觉率是 0%。

实际跑起来怎么样?Browser Use 的创始人做了个演示,让 AI 搜一张机票,传统大模型驱动的浏览器 Agent 磨蹭了好几分钟,换成 Jev 处理中间判断,7 秒跑完。有人拿它压缩 128 万 token 的上下文,逐段判断哪些跟任务有关,筛完只剩 8.6 万,缩了 93%,关键信息没丢。还有开发者测试了 777 次分类,总花费大约 0.25 美分,不到两分钱人民币。

类似的思路其实早就有人想过,为什么偏偏 Jev 在这个时间点爆了?

过去一年,AI Agent 从概念走到了真实的生产环境。Anthropic 最近披露了内部数据:半年前 Agent 主导的任务占比还不到 1%,现在飙到了 26%,3 万个 Agent 同时在跑。Agent 跑得越多,中间环节的小判断就越多,每次都调大模型,账单高得离谱,延迟慢得想骂人。Jev 出现的时候,恰好是所有人都受够了的时候。

回头看这件事,挺有意思的。过去两年大家都在卷“全能”,什么都往大模型上堆。但拆开来看,Agent 系统里真正需要语言能力的环节,可能连一半都不到。大量中间步骤要的只是一个选择、一个评分、一个是或否。我们一直在用会说话的模型,去干不需要说话的活。以前没别的选择,只能这样。现在 Jev 出来了,它未必是最终答案,但它让大家看到了这个错配。

需求匹配得准,比一味追求全面更重要。做产品如此,做 AI 也是一样。

#科技先锋官##How I AI# #Jev为何火爆AI圈#

发布于 山东