中午跟几位科技的经理聊，私下对Ai信心锐减。尤其对于底层架构，这一套transformer的架构本质还是半个多世纪之前自动机的那一套理论，只是用全局注意力解决了RNN递归转移的工程缺陷，大模型神迹般的“涌现能力”，从自动机理论看，只是状态规模突破阈值后的必然结果，scaling law 随着参数变大边际能力面临挑战，甚至被证伪。但是，话说回来，其中一位经理说，他有一位亲戚在OpenAI，据说28年会有一套极其牛逼的全新Ai架构推出，我想那应该是一套能给Ai赋予灵魂的架构吧。。。期待。。。