trustno1v2
25-01-27 11:20

我对deep seek的看法,或者说对现在AI的看法就是。目前的AI是一个具有人类知识库的概率猜测机,他对基础组件相对有限固定,但是组件的组合空间极其庞大接近无限的领域,特别有效。比如编程就是这样的领域,还有生化环材也是。以前这类工作是通过,一群科研牛马,编程牛马来完成的。现在的AI可以依赖人类的知识库寻找到成功概率较高的组合路径,降低组合尝试的成本,提高组合试错的效率。openAI的思路是,期望堆叠算力和数据,搞出个模型A,这个模型每次吐出来的答案成功概率都无限接近于1,但是每次吐答案的成本可能很贵.而deepseek的想法是,模型每次吐出的答案概率保持在一个合理的水平,同时把每次吐答案的成本打到足够低。吐十次答案最终的效果跟你吐1次的答案差不多,但是成本还比你便宜。你可以把这个模式理解为玩老虎机,O记老虎机,拉5次必给你中奖100万,但是投一次币一万块。D记老虎机,拉100次必给你中奖100万,投币一次100块。
这是对抗大模型概率爆炸的唯一方法。什么是概率爆炸?简单的说就是,如果一件事情成功概率为p,这件事做n次成功的概率为p^n。大模型的一次推理是概率性的,其多步推理后整体成功率必然会指数级降低,95%的单步成功率,5步之后整体成功率只有77%。deepseek的想法是,与其提高每一步的准确率从而提高全链条推理的成功率比如单步准确率从95%提高到99%,不如让推理多执行几次。
这个其实就是用伯努利试验来补偿联合概率爆炸。假设一个独立随机事件,每次成功的概率为P,第n次才成功的概率为多少呢?这就是一个n次独立的伯努利实验中有x次成功的概率。简单的说,就是n次试验以后至少一次成功的概率就是,n次试验全错的补集。
假设成功概率为70%,错误概率是30%,n次试验全错的概率是0.3^n,n次试验里至少有一次是正确的概率是,1-0.3^n,换而言之当n为3时,3次中至少一次成功的概率是97%,n为5时,5次中至少一次的成功概率是99%。因此我们只要把全链路推理当作一次试验,降低单次试验的成本,最后就可以把全链路推理上的联合概率爆炸给补偿回来,
总而言之,只要现在AI是概率猜测机的本质不变,那么组合试错的成本的重要性远远低于单次组合试错的准确度。
#deepseek彻底爆发#

发布于 新加坡