有个梨GPT
26-05-15 16:14 微博认证:科技博主

跟AI掰扯了一下AI的数学模型。

其实想法非常简单。就是虽然符号本身是离散空间内不规则定义的,但是他们在使用的文本里的相关性,是有统计规律的。

从这一点出发有两个流派,一个流派是搞拓扑的,只关心连接性不关心度量,另一个流派是搞微分流形的,即关心连接性也关心度量。

----

逻辑本身是有代数结构的。语言既有语法也有逻辑。所以从数据出发反向拟合这个代数结构是没什么问题的。这就是数学。

很多人口上说的几率,其实是他们不理解几率在逻辑上的意义。几率只是失去了一个确定的结果,可能出现两种,或者更多的,但是几率不是馄饨,就像不停机不是饺子。

不开玩笑的精确的说,合流特性和停机问题是两件事,停机合流就是数学函数,停机不合流就可以看作是几率的证明论语义了。因此,它仍然逃不掉逻辑的代数结构。

----

AI的模型训练本质上是一个heuristic算法,找出一个(巨大的)proof,在复杂度上虽然把硬件撑到了极限但是仍然可用,在给定输入后的有限步骤的归一化过程里能抵达一个停机的结果。如果不能抵达,程序可以象throw异常那样打断计算过程再来一遍,这次选择了不同的估值顺序于是跑到另一个结果去了。

你甚至无法证明这个过程不是在大脑中真实发生的。

----

意识比计算高一层的地方,就体现在,它也是一个分布式算法,给估值器提供一个先从哪里开始估值的「冲动」,我们可以称之为注意力,多巴胺奖赏通路,或者杏仁核。

----

试图回答 @学术状态帝 前几天问的一个问题,意识是不是图灵机。我的答案是「不是」,大脑计算部分是不能替代大脑中低层的部分的。这就是耗散系统说的,我们真正的自我,是进化选择的,由外界决定的「价值」。计算只是大脑的功能。而所谓的理性,理性的根本也是我们对理性的信仰在进化中被验证,这样我们才能在高帅的年代选择不奋斗了,嫁给富婆。

发布于 上海