又是长假之前更新
DeepSeek-V3.2-Exp 发布!
有两大看点。
第一:
DeepSeek Sparse Attention(DSA)首次实现了细粒度稀疏注意力机制,在几乎不影响模型输出效果的前提下,实现了长文本训练和推理效率的大幅提升。
第二:
DeepSeek 使用高级语言 TileLang 进行快速原型开发,以支持更深入的探索。在最后阶段,以 TileLang 作为精度基线,逐步使用底层语言实现更高效的版本。
因此,本次开源的主要算子包含 TileLang 与 CUDA 两种版本。
建议社区在进行研究性实验时,使用基于 TileLang 的版本以方便调试和快速迭代。
发布于 广东
