Transformer-周 26-03-31 23:39
微博认证:AI博主

群里有同学在分析cc leak的源码,分析到这里,得出cc的mcp是动态加载的,这个其实挺有意思的,本着本博主要讲就讲明白的原则,我来解释一下delta attachment和动态加载的却别,首先什么是动态加载,mcp就是动态加载,任何都是,有几个维度,第一connected,只有connected的才能被load 进prompts里,否则不行,另一个维度的就是LLM得选择,给一堆就选几个,这也是动态加载,那默认的行为是什么呢?举个例子:比如你第一轮上来有3个mcp,abc,它就abc的mcp instruction都加载,默认第二轮上来append到丢一轮后面的对话,对吧?但是因为要加载mcp所以,还是abc 的mcp instruction都加载。10轮就是乘以,咱就算你mcp的各种json没多少,我算你一个mcp占用100个token吧,那3个就是300,10轮就是3k,大概是这个逻辑。那么delta attachment是什么意思呢?就是你第一轮不是abc了吗对吧,因为llm没有记忆所以你的对话是累加的,不管你是第几轮,都是从第一轮开始一直罗列着发到llm。那既然你第一轮发了mcp有几个了,比如还是3个abc,那我从第二轮,也就是次轮,你这些mcp都没掉线的情况下,它就不发了,它说还是上轮那3没变,直到有一个mcp connect变了,它才发,比如这轮c掉线了,上来个d,d的instruct是什么,是这样的逻辑。

发布于 日本