最好的上下文压缩,是让 Agent 从一开始就不必生成那段文本。
一个真实 GA360 分析任务,要跨 273 张按日分表。手写枚举版是 1,713 行、79,384 字节、约 20,000 tokens;把重复结构交给确定性的 harness 展开后,只剩 52 行、1,337 字节、约 370 tokens。
也就是生成字节压缩 59.4:1,token 消耗约压缩 54:1,业务逻辑不变。
这和生成完再做 compaction 的区别很关键:
1. compaction 是先付生成成本,再删上下文;
2. harness 是在生成前消掉重复;
3. 短模板更容易审计、复核和重放。
模型能力决定 Agent 的上限,语言与 harness 决定它的成本曲线。这也是 InfiniSynapse 在数据分析 Agent 底层持续建设 InfiniSQL 的原因。
了解 InfiniSynapse:http://t.cn/AX4fe2cF
#InfiniSynapse #InfiniSQL #DataAgent #AI数据分析
发布于 浙江
