MiniMax M3改稀疏注意力_新浪新闻

蚁工厂

26-05-27 08:24 微博认证：科技博主

MiniMax M3也要改为稀疏注意力模型啦

发布于山东

i陆三金：

DeepSeek 新发布的 NSA：一种与硬件一致且本机可训练的稀疏注意力机制，用于超快速的长上下文训练和推理！ NSA 的核心组件： • 动态分层稀疏策略 • 粗粒度标记压缩 • 细粒度的 token 选择 💡 NSA 针对现代硬件进行了优化设计，加快了推理速度，同时降低了预训练成本，且不影响性能。它在一般基

2025-02-18 15:08:41

转发(13) 评论(4)

lyman2003：

DeepSeek V4终于来了 [鼓掌] 上下文长度 1M，swe pro分数超了哈基米3.1，但是还是不如glm5.1，gpt5.4，属于中规中矩 [并不简单] “技术层面，V4采用全新注意力机制，结合DSA稀疏注意力，在大幅压缩计算和显存需求的同时，实现百万级超长上下文。DeepSeek表示，1M上下文将成为旗下所有官方服务的标配

2026-04-24 12:03:06

转发(17) 评论(30)

姜博杨：

#DeepSeek新模型发布#DeepSeek发布实验性新模型DeepSeek-V3.2-Exp，核心引入DeepSeek Sparse Attention稀疏注意力机制以优化长文本训练与推理效率；官方多平台（App、网页端、小程序）已同步更新，API调用成本降50%以上（输入0.2-2元/百方tokens、输出0.5-4元/百方tokens，9月29日18:00生效），模型还

2025-09-29 21:33:28

转发(1191) 评论(468)

karminski-牙医：

DeepSeek 刚刚发布了新模型——DeepSeek-V3.2-Speciale！从分数上看就是 DeepSeek-V3.2-Exp 的优化版本了，数学能力测试的AIME25 直接刷到了99.2 % 已经刷爆了，SWE-Bench Verified 也来到了 73.1，距离claude-sonnet-4.5 的77.2 还有一些距离。给大家整理了本次发布的重点内容，最重要的还是Deep

2025-12-01 19:22:09

转发(30) 评论(24)

IT九熙：

#千问Qwen3.5大模型发布#真正的卷王出现了，就在刚刚，阿里正式发布全新一代大模型千问Qwen3.5-Plus。这次核心更新在于采用了Mamba混合注意力机制（SSM-Transformer） + 稀疏MoE架构，总参数3970亿但仅激活170亿参数，显存占用降低60%，推理吞吐量最高提升19倍。举个例子，传统大模型就像人工翻整

2026-02-16 18:25:28

转发(25) 评论(54)

蚁工厂：

vLLM不但第一时间支持了DeepSeek-V3.2-Exp，还做了个新增的稀疏注意力（DSA）是如何工作的图解。 👇为让AI结合该图解做的解释： ------------ DeepSeek 稀疏注意力，简称 DSA，是一种为了提升大语言模型在处理长文本时的效率而设计的架构。它的核心思想是避免让模型在每一步都计算当前词与上下文中所

2025-09-29 20:47:20

转发(67) 评论(10)

钞能力小妖：

【国盛计算机】国产模型芯片国庆献礼，deepseek v3.2架构创新，寒武纪昇腾day 0适配 #9月29日DeepSeek-V3.2-Exp 模型发布。作为迈向新一代架构的中间步骤，引入了 DeepSeek Sparse Attention（一种稀疏注意力机制），在几乎不影响模型输出效果的前提下，实现了长文本训练和推理效率的大幅提升。得益于

2025-10-01 07:50:08

转发(6) 评论(38)

澎湃新闻：

【#杨植麟梁文锋论文撞题#，“注意力机制”对大模型意味着什么】2月18日，在大洋彼岸的马斯克秀出最新大模型Grok 3当天，国产AI公司深度求索（DeepSeek）最新一篇论文引发关注，创始人梁文锋在署名之列，并2月16日提交到预印本平台arxiv。这篇论文的核心关于NSA(Natively Sparse Attention，原生稀疏注

2025-02-19 20:20:05

转发(19) 评论(4)

蚁工厂：

MiniMax M3也要改为稀疏注意力模型啦

2026-05-27 08:24:33

转发(6) 评论(8)

首页

导航

反馈

登录

Sina.cn(京ICP0000007)