#模型时代# Cohere创始人：下一代大模型的突破是持续学习，明年技术就会做好准备。

大家知道，谷歌写Transformer论文的8位员工，后来都离开了谷歌。当然，Noam Shazeer也就是Character.AI 的创始人、CEO最近又回谷歌了。其中，我比较关注的一位，就是Cohere创始人Aidan Gomez。Cohere获得了辛顿的投资，而且一直坚守企业级赛道。在几个模型公司中，比较不走寻常路。

在达沃斯期间，Aidan Gomez接受了AGI House采访，他谈的一个观点我一直比较认同，那就是模型下一步最重要的工作是：持续学习。

现在的模型训练和推理是分离的，所以一旦训练完成，参数就会冻结，在使用过程中所沉淀的数据，要到下次训练才能回到模型。而我们人类显然不是这样的，我们可以在工作中同时学习（或许睡眠就是每隔24小时进行一次的训练）。

Aidan Gomez预测，这种技术如果不是今年，那么2026年可能就会具备。如果真做出来了，这绝对是一个改变模型发展范式的东西。

不过其中坑也有很多，比如"灾难性遗忘"。当模型学习新任务或新知识时，会调整网络中的权重参数。问题是，这些参数是高度耦合的 - 调整用于学习新任务的参数，往往会无意中破坏之前任务所依赖的参数组合。不清楚Aidan Gomez说的新技术，值得是哪种实现原理。 http://t.cn/A63uJmrW