蚁工厂
26-10-29 08:39 微博认证:科技博主

技术博客:把大模型当计算机整?在 Qwen 3.5 内部运行一颗功能完备、确定性的 RISC-V CPU
详细:divagr.com/blog/qwenputer

大语言模型执行精确计算通常需要调用外部 Python 沙盒或工具接口,而本文展示了一种完全不同的内部实现路径。作者利用 Qwen 3.5 架构中 Gated DeltaNet(线性注意力 RNN)层的状态更新特性,通过将门控与写入强度设为 1 并配合独热编码(One-hot key),将其改造为可精确寻址的RAM。在此基础上,作者未经过任何后训练,直接将一套支持 RV32IM 指令集的 32 位 RISC-V CPU 电路逻辑编译进新增的 11 层网络权重中。

测试显示,该内嵌 CPU 能以零误差连续无干预运行 1800 万条指令,使模型在长整数算术基准测试(NUPA)中的准确率从 48.6% 提升至 100%,表现与外挂 Python 工具相当,且未破坏原模型的自然语言生成分布。此外,文章还展示了如何基于同一机制在模型内部构建可跨会话持久化的哈希文件系统(最高容纳约 5.3 万 Token),并探讨了该技术对混合架构模型思维链(CoT)隐匿性与安全监控的潜在影响。模型与代码目前已开源。

发布于 山东