这张图列出了Meta Muse智能体的国产CPU合作伙伴。
翻到这张Meta Muse智能体的国产CPU合作伙伴清单,第一反应是之前跑本地大模型遇到的痛点终于要被填上了。
之前用某款x86芯片跑7B参数的模型,光是加载就要等120多秒,输出token的速度慢到每秒不到3个,喝半杯冰美式的功夫才生成半段文案。现在清单里覆盖了好几家主流国产CPU厂商,从桌面端到边缘端的产品线基本都对齐了适配,不用再折腾各种兼容补丁,连之前卡了我半个月的算子适配问题,据说现在直接就能跑通。
以后想搭轻量化的本地智能体工作站,完全不用死磕进口芯片的溢价,选个适配好的国产CPU就能搞定,这波生态补全真的太实在了。
发布于 广东
