午后狂睡 26-02-09 17:28
微博认证:影评人 微博2022最具影响力互联网科技大V 科技博主

#阿里新一代模型Qwen3.5曝光# 太卷了,2026年才第二个月,Qwen3.5就要来了。

今天,全球最大AI开源社区HuggingFace的开源项目页面中出现了Qwen3.5并入Transformers的新提交代码合并申请。

网传千问3.5将会采用全新的混合注意力机制,并且极有可能是原生可实现视觉理解的VLM类模型,Qwen3.5或将开源至少2B的密集模型和35B-A3B的MoE模型。

这意味着千问3.5将会带来效率的大大提升和成本的大大降低,现阶段单一注意力已无法兼顾速度、长度、多模态需求,而混合注意力则成为了突破瓶颈的关键技术,搭配原生视觉理解VLM,能让模型的视觉-语言对齐更好、理解更深入、能力更强。

MoE则可以在参数量巨大的情况下,通过激活部分专家网络来大幅降低推理成本,是实现“大模型能力、小模型开销”的关键技术,这对于小型企业或者个人开发者来说,意味着成本的大幅度下降。比如你提问一条数学题,MoE 架构只会动态激活最相关的少数专家子网络进行计算,而非调用全部参数,从而在保持大模型能力的同时显著降低计算开销。

Qwen 3.5的推出,对于很多依赖第三方大模型 API 或集成外部模型的企业来说意义非常大。

比如手机厂商有可能选择深度绑定,在开放权限后,实现自带语音助手从“问答型助手”向“任务型助手”的转变,让手机上的语音助手能理解、规划、执行更多的任务;

比如汽车厂商的辅助驾驶能力会实现真正意义上的“人车共同决策”,车会拥有看懂环境、记住用户行为、理解用户意图、尝试解决问题的能力,未来辅助驾驶的风格会越来越像车主本人在开;

还有企业内部管理、工业制造场景的标准化运行甚至是社交平台的审核功能,都会突破现有能力的天花板…

俺已经有点迫不及待想试试看了。

发布于 江苏