探讨一下,我目前的观点是:在当下这个时间点,如果你愿意花接近十万搞个电脑,那么【本地部署一个大模型,就实现token自由,就可以干活了】这是真的,确实如此,而且能力也非常出众的,在目前国模里大概是五名左右的水平,非常出众,完全达到可用线。
普通人的本地部署在我看来要解决这几个问题:
1、必须得消费级本地部署,别拿工业级、商业级说事,得是消费级;
2、最起码电价要比token plan便宜,最好是电价+折旧比token plan便宜;
3、本地部署的大模型能力得合格,不能太弱智,速度也不能太慢。
那么现在的本地部署大模型达到什么程度了呢?我认为刚刚跨过消费级的及格线,但由于现在消费级的硬件涨价太多,所以还是有点不值得的。
目前消费级本地部署的极限水平我认为是qwen3.8 flash next,我们就算Q8量化吧,这个模型大概是什么水平呢?在我写这篇文章的时候,国产大模型里面只有4个能稳赢它,分别是kimi K3、GLM5.3、qwen3.8max、HY4预览版。
至于DeepSeek V4 flash 和pro、GLM5.3flash这些,只能说和qwen3.8 flash next同一级别,互有胜负,可能会略强一些,也可能略多一些,但就算比它强,也没到明显强一档的程度。
事实上我也和多位搞消费级本地部署的朋友聊过,他们也认为qwen3.8 flash next差不多是国模五名左右的水平。
我们也算过电费和token plan的费用,认为电费已经低于token plan了,也就是说qwen3.8 flash next已经达到消费级本地部署的可用线了,而且是非常可用。
而且云端API Key可能还会有量化、429之类的,本地不会。
那么目前最大的问题是什么呢?就是消费级部署太贵了,虽然是消费级,但一般人还是玩不起,基本上要接近十万的价格。譬如mac M5 ultra 256G,接近十万,但放在两三个月前,这种事情想都不敢想的。
今年7月31号DeepSeek V4 flash 正式版发布,然后有个人和你说,再过一个多月,只要花大几万,就能本地部署一个可能要比DeepSeek V4 flash 正式版还要强一点的大模型,而且还能看图。我相信绝大多数人看到这个会觉得白日做梦不可能。
但这个梦成真了,真的可以做到。而且是在消费级硬件疯狂涨价的今天。#how i ai#
发布于 上海
