【苹果闪存运行大模型技术突破 MacBook打破内存极限】
3月20日消息,开发者在搭载M3 Max芯片、48GB内存的MacBook Pro上,成功运行209GB的Qwen3.5-397B超大AI模型,速度超5.5 Token/秒。该技术借鉴苹果闪存运行大模型论文,将模型参数存于NVMe SSD,按需高效传输至内存,依托苹果统一内存架构实现多硬件协同,还精简模型激活参数降低内存需求。核心优化代码由AI助手自动生成,项目已在GitHub开源。http://t.cn/AXfxCoVh
发布于 北京
