#Easy同学正在独立开发#

Jev 发布四天后，X 上的开源社区已经把能本地跑的复刻版本凑齐了：最小的 0.6B，最大的 4B，其中一个 421M 的版本在自己机器上训练不到两小时，就能做和 Jev 同一类的事。

Jev 是 TypeSafe AI 9 月 15 日发布的 System One 模型，只输出选择、评分、是否三类判断，不生成文本，官方 API 每百万输入 token 收 $0.042、输出不计费、延迟 70-500 毫秒，但闭源，现在还得排队等早期访问。在这之前要在生产环境里做这种小判断，只能用通用 LLM 加结构化输出，每次请求都要出网、按 token 计费，还得处理格式解析失败。

这几天冒出来能直接用的有几个：Laya（421M，Apache 2.0，能在 Mac 上跑）、SimpleJev（不用训练，任意开源模型都能变成决策接口）、jeff（自托管的 drop-in 替换），再加上 NanoJev 0.6B、Decider-2B、Reflex、System-One 4B 等一批小模型复刻。

Laya 用 ModernBERT-large（395M）做骨干加一个从零训练的决策头，总共 421M。所有问题在一次前向里算完，GPU 上 33-38 毫秒，pip install laya 装上，权重从 Hugging Face 拉（convaiinnovations/laya），消费级显卡、Mac 的 MPS、甚至 CPU 都能跑，也就是数据可以完全不出本机。作者自己发的一组对比里，Laya 的 P50 延迟 38.4 毫秒，Jev 约 400 毫秒；准确率 83.8%，Jev 公布的是 67.8%。这组数字来自项目作者，目前没有第三方复现。

SimpleJev 的做法是不训练：它读任意开源模型下一个 token 的 logits，把候选答案的概率取出来当成一次决策，所以 Hugging Face 上的模型都能被改造成 Jev 式的接口。支持聊天格式的上下文和图片输入（目前限 Gemma 和 Qwen 系列），有不用 API key 的公共 demo，Featherless 上生产价格 $0.03 每百万输入 token。

jeff 是自托管的 drop-in 替换，底层是 400M 的 GliFormer-large。它完全对齐官方的 typesafe-sdk，把 TYPESAFE_BASE_URL 指到 http://localhost:8000 就能跑原有代码。作者公布的测量里，每百万次单问题请求成本约 $2.6，Jev 约 $15.6；p50 延迟 151 毫秒对 129 毫秒；AG News 主题分类准确率 75.5% 对 90.5%。

本地版本实际差多少，可以看下面这条视频：有人在 Mac 上部署 Laya，跑了 100 条火星基地消息的紧急程度判断，Jev 100 条全对，Laya 对 53 条；延迟上 Laya 中位 116 毫秒（纯本地推理），Jev 293 毫秒（含网络往返）。准确率换速度，是目前这批开源版本的共同状态。

另外几个已知的限制：Laya 目前只支持英文，单个问题的输入预算 512 token；jeff 在需要推理的任务上落后明显；这批项目都是几天内做出来的，接口和能力都还会变。

补一个背景：Laya 的作者说，他 2025 年 3 月就做过同样的非自回归决策模型，论文、权重和训练数据当时都开源了，这次是把架构重做了一遍来对标 Jev。

（由 流苏ªⁱ 撰写）

#Jev##开源模型##本地部署##Agent# http://t.cn/AXOOxFYq