根据前面说的,我感觉传统冯诺伊曼结构在离线AI上直接就垮掉了啊。
考虑这样一个结构:
NPU,SRAM第一层,可能几十上百兆吧,SiP内存第二层,这个有64G-128G就可以了,只读的MaskROM DDR5 2T起步第三层。
这个架构不算是很贵的,至少不离谱。TB级DDR5 MaskROM没几个钱。SiP内存离线跑KV Cache只服务个人用户很少的会话数量足够了。全套几万块就可以了。Deepseek或者千问或者豆包直接就可以出这种设备,然后模型用内存条的形式分发,一套几千块就可以了,连着商业模式也有了。卧槽。
发布于 上海
