DeepSeek-V4.1-Flash(-EXL3-2.9bpw) 双机Spark部署成功。Mia的配方有些小问题,不过AI全都搞定了。
这是个参数量760B的巨大模型,极限量化后,确实能跑能用。至于性能,DSH统计的是28tok/s,不知是否还有优化空间。要知道这是个700B量级的模型,还要啥自行车啊。
问了个电子行业的问题,仅凭自己的知识储备是可以正确回答这个问题,还不错。不过思考过程绕了很久,并且如果我的问题里有“不是中国的环保使用年限标志”这样的表述,会明显带偏它的思考过程。
发布于 日本
