AIGCLINK
26-09-16 08:53 微博认证:AI博主

前OpenAI研究员Diogo Almeida发布了一款新型模型:Jev,一种“放弃生成文字只输出类型化概率决策”的模型

称速度快40–200倍,输入成本便宜5–238倍,输出接近免费

就是说把大模型从会聊天会写长文的生成器,改成软件可以直接调用的概率决策函数

用并行概率决策替代逐token字符串生成,主打结构化、可校准、低延迟、低成本

创始人Diogo Almeida称曾在OpenAI参与指令跟随/对话方法相关研究,他的问题是:模型聊天能力早已超过人,但真正可嵌入代码的自动化仍缺关键一环

Jev背后是一套全新栈:新架构、并行采样器以及新训练方法RLCD

像前沿智能函数调用,输入非结构化状态/程序状态,输出预先定义好的类型化概率决策。放弃自由字符串生成,换来无类型错误、schema内不生成非法/幻觉式输出,并自带置信度

它抢的应该是海量的微决策场景,每一次请求背后几十上百个小判断的基础设施层

可塞进业务系统里做判断器,作为分类、路由、打分、抽取,实时应用里的快速判断,工作流里的“智能if”等

如果真能把每次判断压到毫秒级、接近零输出成本、附带置信度,那这个还是有价值的

http://t.cn/AXOfrAVb

#Jev##新型模型# http://t.cn/AXOIEw79

发布于 中国香港