IT时代网
26-11-13 13:09 微博认证:IT时代网官方微博

#Edge0开源145B端侧模型笔记本可本地运行#
IT时代网11月13日消息,Edge0开源1450亿参数端侧模型Edge0-145B,号称全球首个可在笔记本本地运行的千亿级参数开源模型,具备编码、推理与智能体能力。
该模型采用稀疏专家MoE架构,每64个专家共享两个大矩阵,总参数145B但每个推理步仅约10B参数参与计算。借助三级存储流水线设计,热专家常驻GPU内存、约40GB专家库放在系统内存、约48GB词汇数据存于SSD,模型在MacBook Pro等设备上峰值内存29GB,解码速度超过每秒80个token,上下文长度128K至256K。
官方公布的测试数据显示,Edge0-145B在Terminal-Bench 2.1智能体基准取得86.52分,超过对比名单中的多款主流模型;在DeepSWE 1.1编码基准取得64.6分。模型权重以NVFP4量化版本发布在Hugging Face,推理框架与部署工具同步开源,支持苹果M系列芯片与NVIDIA RTX 4090、RTX 5090等硬件。
Edge0此前发布的手机端35B模型曾在发布当日登顶Hugging Face趋势榜第一。端侧模型长期受内存限制停留在百亿参数以下,本次开源将笔记本可运行模型的参数规模推高了一个数量级。