大A剑客 26-01-21 13:09
微博认证:投资内容创作者

【DeepSeek新模型MODEL1曝光 代码预示新架构】据量子位公众号消息,DeepSeek-R1发布一周年之际,新模型“MODEL1”曝光。DeepSeek在GitHub更新FlashMLA代码,横跨114个文件中有28处提到MODEL1,与V32作为不同的模型出现。已知V32是DeepSeek-V3.2,MODEL1很可能是新的架构。

代码中的具体差异体现在KV缓存布局、稀疏性处理和FP8解码方面,在内存优化上有多处不同。此前有消息称DeepSeek将在2月中旬春节前后发布下一代旗舰模型。结合DeepSeek最近发布的优化残差链接“mHC”和AI记忆模块“Engram”两篇论文,或许我们将看到整合了这两项技术的新模型。(华尔街见闻)

发布于 湖北