karminski-牙医 26-02-05 04:58
微博认证:AI博主

国产科学研究大模型发布! Intern-S1-Pro

上海人工智能实验室书生团队发布了 Intern-S1-Pro, 这是一个科学多模态模型. 它最大的特点是, 可以输入时序数据! 比如心电图波形、地震波、光谱曲线、气象监测数据、脑电信号这些. 注意这个时间序列数据是作为独立输入模态接入的, 和图像、文本并列. 目前支持从几个数据点到上百万个数据点的超长序列, 不管是几秒钟的心跳记录还是几年的气候监测都能直接喂进去. 科学实验产生的大量传感器数据、波形信号、监测曲线终于有原生支持了

模型总计1T参数, 激活 22B, 512 个专家每次激活 8 个, 256K 上下文.

作为一个科学大模型 - Intern-S1-Pro 在化学、材料、生命科学、地球科学这些硬核领域, 直接打到了和 GPT-4o、Claude-4、Gemini-2.5 Pro 这些闭源模型掰手腕的水平. SciFE-Bench 总分 63.9 超过 Gemini-2.5 Pro, MoleculeQA 分子问答 68.9 超过 Claude-4 opus. (注意这几个都是科学领域的专门benchmark)

技术上也有几个有意思的创新:

- 傅里叶位置编码 (FoPE): 不是普通的 RoPE, 专门针对物理信号的周期性做了优化, 对科学数据更友好
- STE 路由 + 分组路由: 万亿参数 MoE 的训练稳定性一直是难题, 解决了专家负载均衡问题

以前的多模态模型基本就是文本+图像, 遇到科学数据要么硬转成图片, 要么序列化成文本, 信息损失严重. Intern-S1-Pro 开创性的把时序作为一等公民, 意味着心电图、地震波、光谱曲线这类数据可以保持原始精度直接输入, 不用再"翻译"一遍了.

国产大模型现在真的是百花齐放啊!

#HOW I AI#

发布于 日本