我刚刚仔细看了一下 360 推出的这个 AI 助手,确实不太一样。表面上看它好像接入了国内所有的大模型,好像一个让你多维度比较的 AI,其实不是的。
我们都知道目前强力的大模型都是 MoE 设计思路,也就是混合专家模型,将多个细分领域的专家模型组合成一个超级模型。它有一个缺陷,MoE的设计与每次升级迭代都需要花费巨大的资源。当参数量很高的时候,就更是如此。
Meta 研究报告显示:其最新的 Llama 3 405B 参数模型在 16384 个 Nvidia H100 GPU 组成的集群上训练时,54 天内经历了 419 次意外,训练期间平均每三个小时就发生一次故障。与此同时,每次的单个 GPU 故障,都会中断整个训练过程,导致训练重新启动。
也就是说当前的大模型参数量,已经接近硬件所能支撑的极限。即便有无穷无尽的GPU,也不再能解决大模型训练中的算力模型。
那么360这个有什么不一样呢?360虽然不是什么大模型,粗看只是整合了国内其他大模型的接口,甚至你会觉得它就是个套壳。
但实际上,360这个 AI 助手,正是CoE。
CoE(Collaboration-of-Experts),专家协同模型。通俗来说,一个入口同时接入多家模型,而入口会在模型分析之前,增加一个意图识别环节,然后才进行任务派解,决定任务是由哪款模型起作用,或者哪几款模型打配合。相对于MoE,CoE最大的优势是,各个专家模型之间可以彼此协同工作,但不存在绑定关系。
所以 360 可以说是做了一个意图识别模型,它充当了一个指挥官的角色来指定用户的任务交给哪个大模型来完成。因此我收回前两天我所理解的早就有了类似产品的话,360的这个 AI 助手确实有点东西,但凭它这么多年积累下来的“口碑”,要想让我用,还是需要掂量掂量的
