1/ 阶跃的Step 5 Preview终于憋出来了,总参数600B,激活参数只有27B,稀疏 MoE 原生多模态,上下文窗口1M, 面向 Coding、长程任务、软件工程以及复杂 Agent 任务设计,就是所有前沿模型都在赌的方向,大家你方唱罢我登场,榜单就不赘述了,大家可以看后面的图,已经到了第一梯队(和Kimi K3一样了),而且从性价比的角度看也在帕累托最优线上
2/ 因为主打多跳推理和复杂工具调用,对模型推理能力要求很高,所以需要一个很深的神经网络。Step5Preview 这次就采用了又窄又深的模型架构,使用92层 Transformer 来支持更深、更长的信息传播路径。当然,训练难度也更大一点,为此也做了避免数值爆炸和梯度尖峰的特别优化。
3/ 模型在金融方向的能力是一大亮点,阶跃专门在内部构建了三个 benchmark(FinStepBench LiveSearch/CooperateValuation/DeepResearch),还用了FrontierFinance这个外部榜单(这个是公开的,会考察金融数据建模、宏观和行业分析、公司研究、催化剂监控、财报和关键事件、通用事件扫描等维度)。
4/ 模型之外,更值得关注的是整个全栈体系和商业化。因为未来大模型公司的竞争也会越来越丰富、越来越体系化,而不仅仅是榜单和技术。阶跃最大的优势,还是全模态和配套的完整终端体系,端侧模型、语音交互模型、ASR模型都是SOTA水平,其实最终还是为了服务终端体验
5/ 我不知道大家最近有没有人用 Meta 的 Muse,很多人用了反馈都不错,我还在waitlist..晕了。其实它想做的就是一个 personal agent。这个方向可能是 coding agent 之后更大、更通用的一个方向,Personal agent 可能在手机上,也可能在车上,和终端硬件这个方向的适配度很高。理想情况下,模型、软件、系统、硬件都打通是最好的,也是阶跃现在押注的方向,可以观察一下,因为大家都知道Coding 强到一定程度之后,一定会向其他领域溢出
6/ 打通终端硬件的 Personal Agent,是一个有机会覆盖到数亿消费者日常生活的巨大市场,马斯克之前说,未来手机会是模型的边缘推理节点,可能不会有传统意义上的 App,这个也蛮有意思的,豆包除了自己的手机,阶跃也出了大模型原生手机STEPX Neo,非常期待未来大家能卷成什么样
7/ AI这行业变化很快的,但是硬件变化是很慢,也是瓶颈,打通硬件的优势可能需要更久一点的时间才能显现出来,拭目以待
发布于 北京
