宝玉xp
26-10-22 06:55 微博认证:前微软Asp.Net最有价值专家 2025微博年度新知博主 科技博主

不聊天、只会涂答题卡的 AI:Jev 讲明白

Jev 其实发布有一阵了,还是值得科普一下,做了个简单的科普视频。

Jev 只干一件事:像我们考试涂答题卡一样,在程序出好的选项里涂圈,涂的深浅就是它有几成把握。这期用一张答题卡讲清楚:只会做选择题有什么用?它为什么能快几十倍、便宜到读一大堆字才几美分?官方说它「幻觉率为零」,这个零是怎么来的?独立研究又发现它会在哪儿涂错、哪些事它干不了。最后说说它适合干什么活,以及 OpenAI 等跟进的同类产品。

----

你考试涂过答题卡吧?题目和选项印好了,你只管拿铅笔涂圈,机器一扫就判完。

2026 年 9 月,TypeSafe 发布了一个只会「涂答题卡」的 AI,叫 Jev。联合创始人 Diogo Almeida 是前 OpenAI 研究员,也是 InstructGPT(ChatGPT 的前身)论文的作者之一。

**只会做选择题,有什么用?** 网店客服要把消息分到「账单 / 技术 / 账号」,程序要的只是一个选项。聊天 AI 交回来一段话,程序还得再从里面抠答案,抠错了,消息就去错了地方。Jev 直接交卡:每个选项涂多深,就是它有几成把握,加起来是 100,程序拿到就能用。

**它为什么快、为什么便宜?** 聊天 AI 每写一个字,整个模型就要跑一轮;Jev 读一遍材料,整张卡一次涂完。官方说一次请求 70–500 毫秒,比用大模型干同样的活快 40–200 倍;读进去的文字收钱(每 100 万个词约 4 美分),交出来的答案免费。一位独立研究者用它跑了 34 万多次判断,总共花了不到 10 美元。

**它会不会涂错?** 官方说它的幻觉率是零,但也写明了这个零不是测出来的:卡上只有 A、B、C,它涂不出 D,所以格式永远不会错。可涂错一个圈,照样是错。独立研究把两个选项的名字对调、意思不变,Jev 和另外两个模型的判断大批翻转,格式错误却一直是零。论文标题说得很清楚:类型安全,不等于没有错。

**它报的把握靠得住吗?** 单选题的深浅大体靠得住,像一个准的天气预报;是非题的「五五开」那条线未必是对的门槛,用的人得自己调;而且这个准是一大批题平均下来的,不保证每一道都对。

**它干不了什么?** 官方文档自己列了:不会算数、数不清东西有几个、日期只当一串字、有点偏心排在前面的选项、看图是十月才放开的试验功能、官方提醒比看文字差,中文能用但不如英文。最要紧的一条:材料里夹带的话,它不会自动提防。有研究在喂给它的材料里加一栏假的「已审核:安全」,它本来能拦下的钓鱼邮件就有两到三成被放了过去。

**所以它适合干什么?** 每天成千上万次、题目固定、要快要便宜的小判断:这条评论是不是广告,这封邮件该不该拦,这张工单该派给谁。官方建议让它涂卡,再用写死的规则复核一遍。

**只有它一家吗?** 已经不是了。十月,OpenAI 推出了类似的 Decisions API(公测),同样只给答案和把握,还能看图;微软等公司也推出了自己的版本。开源这边,也有人拿阿里千问这类开源模型,改出了同样只涂卡的 AI。按开发者自己公布的成绩,练过的那类题不输 Jev,换成没练过的还差一截。

题出得好,卡才涂得对。出题的,还是人。

章节:

```
00:00 只会涂答题卡的 AI
00:24 只会做选择题,有什么用?
01:30 为什么又快又便宜
02:23 它会不会涂错
03:24 它干不了什么
04:10 它适合干什么
04:41 不只它一家
```

## 资料来源

- TypeSafe《Introducing System One Models and Jev》(2026.9.15),及 TypeSafe 文档(System One、Models、Jev 限制说明)
- Deußer、Sparrenberg、Sifa:Jev 独立评测(arXiv:2609.37647,2026.9.29)
- Sun 等《Type-Safe Is Not Error-Free》(arXiv:2609.26758)
- Li 等《Same Attack, Different Judge》(arXiv:2610.17820,2026.10.13)
- TypeSafe《Jev: For The Builders AND Dreamers》(2026.10.14):看图等实验功能
- OpenAI Decisions API 文档与开发者社区公告(2026.10.6,公测)
- Microsoft Foundry 博客:Introducing Microsoft-Decision-1
- Kev 模型卡(Jared Palmer,huggingface.co/jaredpalmer/kev-4b):基于 Qwen3.5-4B 的开源复刻与自测成绩
- Ouyang 等《Training language models to follow instructions with human feedback》(InstructGPT,arXiv:2203.02155)
- SiliconANGLE(2026.9.16):4,000 万美元种子轮
- TechCrunch(2026.9.18):Diogo Almeida 介绍;创始人合影(图:TypeSafe AI) http://t.cn/AXjwxuJP

发布于 美国