由于训练语料的原因,很多大模型的知识水平都停留在2025年甚至更早,所以在一些新话题的讨论上,大模型偶尔就会表现的很智障,甚至会跟你抬杠“现在没有XXX这个东西”。
这一般是因为模型没有在对话中主动调用搜索导致的。所以我现在跟大模型对话,总会在系统提示词中加上这一句:“**对于前沿概念,你要搜索、整合、思考后再回答。**”
但很多时候,即便我们并没有对它说“去搜索一下”,聪明的模型就是能自己去网上找答案,比如kimi K2.6 它调用搜索就非常积极,甚至会在一次对话中频繁调用多次搜索。
其实,这既包含了大模型自身的能力,也离不开厂家在系统层面的精心设定。我们可以把这个决策过程拆解成三个层面来看。
首先最直接的一层,是厂家给模型设定的“系统提示词”。在你开始和模型对话之前,系统其实已经悄悄给它下达了一长串规则。
比如它会告诉模型,你的知识截止到某年某月,如果被问及这之后的事情,请调用搜索工具。这就相当于给模型定下了一个行为规范。当模型在处理你的问题时,如果匹配到了规则特征,就会去触发搜索。
光有规则还不够,这就涉及到了第二层,也就是模型自身的“认知边界”。我们需要模型具备一种“知道自己不知道”的能力。
在训练阶段,研究人员会用大量包含工具调用的数据去微调模型。通过这些训练,模型学会了评估自己对某个问题的把握有多大。
当遇到一个新词或者超出知识范围的概念时,它内部生成答案的置信度会变低。这时候,训练出的本能就会驱使它输出一个搜索指令,而不是硬着头皮瞎编。
除了模型自己做决定,现在很多大厂还会采用第三种更高效的工程手段。那就是意图路由。在你把问题发给大模型之前,系统里其实还有一个轻量级的小模型在“站岗”。
这个小模型的任务非常单一,就是快速判断你的问题是否需要实时信息。如果是,它会直接指挥搜索引擎去抓取最新资料。
然后它会把搜到的内容和你的问题打包,直接喂给背后的大模型。这种情况下,大模型甚至不需要自己决定搜不搜,它只需要做好阅读理解就行了。
那为什么有时候模型还是会犯傻,甚至跟你死磕说没有某个新东西呢?这通常是因为模型的“过度自信”。
有时候新概念的名字和以前的旧概念很像,模型误以为自己全懂。它的置信度没有降下来,自然也就没有去触发搜索机制。也有可能是前置的小模型没能准确识别出意图,把它当成了普通问题。
#how i ai##ai##AI创造营#
