本地部署了QWEN3.8 27bit 4b的一个模型,输出速度还可以,挺快的,基本的数据分析,代码什么的都能搞定,也没啥问题,用的DSH做agent框架。
就是大概率只能一台电脑跑一个人用,40分钟消耗了34%的电,正常使用估计只用15%。风扇疯狂散热,烫的要死。这还是一台3.5万,64g内存,M5max芯片的超高配笔记本。
唯一的好处就是数据隐私,然后可以自己强化学习做微调,并且可以用“去审查无限制”版本
所以啊,现在的云端大模型真的非常非常便宜。厂商基本都在亏钱贴补呢。
发布于 浙江
