刚才研究了一下ChatGPT的首席科学家Ilya Sutskever在2013年、2014年和2018年发表的深度神经网络数据训练前身的论文——《使用神经网络进行序列学习》《单词和短语的分布式表示及其组成》《循环神经网络正则化》《可扩展可逆生成模型的自由形式连续动力学》

他通过引入连续跳格模型来大幅度提高学习高质量分布式向量表达——ChatGPT可能也得益于这个，可以进行高质量规范的单词和短语表达，ChatGPT说出来的话，非常有逻辑和很像人类的语气。

使用多层长短内存（LSTM）将输入序列映射到固定维度的向量，然后使用另一个深度LSTM从矢量中解码目标序列，这样就让人工智能拥有和学会了——明智的短语和句子表示，对单词顺序非常敏感（拟人化的开始）。

Ilya Sutskever这个俄国科学家是典型的天才，他原先是在Google brain里协助开发阿尔法go，最终让人类在围棋领域被人工智能超越。

后来在2015年7月的一次酒会上，他遇到了钢铁侠Elon Musk，他们几个人一拍即合，决定不图名不图利，为人类干件大事——搞出真正的人工智能，去星际旅行。

2015年12月，Ilya Sutskever离开了Google，与Greg Brockman（现OpenAI首席技术官）共同创立了OpenAI（该公司创立之初就定位为非营利组织），不过，人吃马嚼哪能不用钱？钢铁侠等人哗哗的给了10亿美元……

ChatGPT就这样慢慢孕育出来了。