刚开始做烘焙的时候就在想，以前的欧洲人是怎么发现用手打蛋白能打发成出泡沫的，这得花多少时间啊。刚来美国的那年圣诞，我在家想做姜饼屋但没有电动打蛋机，用四根筷子打了半小时终于把蛋白打发了。这不过是因为我已经知道了无数人早就验证过，只要一直不停地搅拌，蛋白最终总会被打发的。

18年的时候刚出transformer，那时还在本科实验室摸鱼，听大家present了各种版本的transfomer优化，各种版本的Bert，后来有了GPT3也没有太多水花，我想不过是next token prediction的概率模型罢了能有什么智能，很多人大概也是这么想的。我还觉得nlp应该回归语法和语言学，让模型按照概率说话纯属扯淡。没想到等我快毕业的时候有了chatgpt，然后过了几个月所有科技公司都学会了llm应该怎么训练怎么prompt能够产生类似智能的东西。那时我才逐渐意识到incremental的研究原来是有意义的，原来不只是调参和排列组合一些模块而是量变真的能引起质变。只要当有人验证了一条路可行之后逐渐会有人跟上，然后才发现哦，原来也没有这么难，只是之前不知道可以这么做罢了。

想起这么说很多事其实靠的是信念感，所谓显化/fake it until you make it也是信念感，all in也是信念感，可是很多事情是很难很难做到底的，我怎么知道等着我的是最后一步还是依然有一万步要走呢？