人工神经元：智能计算的单位智慧子（下）
在1982年约翰·霍普菲尔德在文章《具有突发性集体计算能力的神经网络和网络系统》介绍了自己的非线性 “霍普菲尔德网络”，解决高度非线性网络容易发生的混沌行为，能确保收敛到一种状态。
1985年，杰弗里·辛顿和《深度学习》作者特伦斯·谢诺夫斯基以霍普菲尔德网络为基础和启发，发明了玻尔兹曼机，一种借助统计力学的方法的波动性神经网络模型，在输入层和输出层之间巧妙地加入隐藏层，从而形成多层神经网络模型。该模型发现不久，他们就发现玻尔兹曼机具有强大的学习能力，同时也打开了多层神经网络学习的大门，并且也确立了人工神经元的基本特征：执行加权和的线性函数加上非线性的激活函数（Sigmoid函数、tanh双曲正切函数、ReLU修正线性单元等），如杨立昆在《科学之路》中的表述：“这两个连续的操作构成了一个单元，即一个神经元，也就是说，一层线性函数连接着一层激活函数即可构成一层神经元。”
我学习到此，也算是明白了人工神经元的数学本质可概括为加权求和输入非线性激活函数的映射器。这个抽象模型实现了对生物心智工作时表现在神经元上电化学信号传递过程的数学建模，是通过加权求和函数与非线性激活函数的级联运算。
总体来说，人工神经元及人工神经网络并不是物理实体，不具有时空世界的结构，既不是由原子组成，也不是由量子组成，而是超越时空界限的一种数学模型，属于智慧知识世界，也具有智慧子所普遍拥有的特征：客观真实存在着的抽象、多维，具有精神性，并且可迭代成长的逻辑结构，通过模仿复制的方式传播，以比特和字节为计量单位，所以它是AI智能体的单位智慧子，类似于生命心智的单位智慧能力。这种结构虽然也是一种智慧逻辑，却打破了传统计算机的布尔逻辑范式，开创了分布式并行计算的新维度。
并且神奇的是科学家们发现，这种类似于生命心智拥有的单位智慧子，以及它们连接组成人工神经网络，也同我们心智一样，具有清醒和睡眠两种状态，并且二者存在截然不同的学习模式，就如特伦斯·谢诺夫斯基在《深度学习》中对玻尔兹曼机学习算法的阐述：“玻尔兹曼机学习算法有两个阶段：在‘清醒’阶段，输入和输出会被钳制（champed），当网络达到平衡后，每对单元状态值之间的相关系数会被计算出来；在‘睡眠’阶段，输入和输出钳制被解除，没对单元状态值会被重新计算，其中的权重会被逐步更新”。这些发现，同时反观我们心智，对于强主观干扰造成的决策失误、天马行空的梦境以及冥想时的灵感等等的认识理解方面，会对自己有所启发。#读书[超话]##微博兴趣创作计划##生活手记#图4拍的是《深度学习》的书页插图