已经有人在MacStudio上跑起来了QwQ-32B
推理速度19.28 tokens/s (M4 Max)
目前市面上的国产大模型一体机跑70B参数都没问题,32B更是绰绰有余。 http://t.cn/A61FiNya
发布于 广东
已经有人在MacStudio上跑起来了QwQ-32B
推理速度19.28 tokens/s (M4 Max)
目前市面上的国产大模型一体机跑70B参数都没问题,32B更是绰绰有余。 http://t.cn/A61FiNya