祝威廉二世
26-07-19 11:53 微博认证:AI博主

最好的上下文压缩,是让 Agent 从一开始就不必生成那段文本。

一个真实 GA360 分析任务,要跨 273 张按日分表。手写枚举版是 1,713 行、79,384 字节、约 20,000 tokens;把重复结构交给确定性的 harness 展开后,只剩 52 行、1,337 字节、约 370 tokens。

也就是生成字节压缩 59.4:1,token 消耗约压缩 54:1,业务逻辑不变。

这和生成完再做 compaction 的区别很关键:

1. compaction 是先付生成成本,再删上下文;
2. harness 是在生成前消掉重复;
3. 短模板更容易审计、复核和重放。

模型能力决定 Agent 的上限,语言与 harness 决定它的成本曲线。这也是 InfiniSynapse 在数据分析 Agent 底层持续建设 InfiniSQL 的原因。

了解 InfiniSynapse:http://t.cn/AX4fe2cF

#InfiniSynapse #InfiniSQL #DataAgent #AI数据分析

发布于 浙江