【全球首款:群联电子与联发科在天玑 9500 平台实现手机端单机运行 20B 大语言模型】双方成功将部分 MoE 模型权重动态卸载至 UFS 存储层,降低对 DRAM 的依赖,使原本需要 16GB+ DRAM 的大模型,可在 12GB DRAM 环境下流畅运行,提升大模型在终端设备部署的可行性。
【全球首款:群联电子与联发科在天玑 9500 平台实现手机端单机运行 20B 大语言模型】双方成功将部分 MoE 模型权重动态卸载至 UFS 存储层,降低对 DRAM 的依赖,使原本需要 16GB+ DRAM 的大模型,可在 12GB DRAM 环境下流畅运行,提升大模型在终端设备部署的可行性。