推理提速近3倍！Agent下场调引擎，两周反超人工精调

Coding Agent正在让大模型推理面临新的性能挑战。

近日，至知创新研究院（IQuest Research）发布并开源了面向IQuest-Q1的专用推理运行优化引擎IQuestRT。

在8卡高性能GPU、单请求条件下，IQuestRT实现了910.70 tokens/s的实测解码吞吐量，达到vLLM参考配置的2.94倍。

它首先改变了GPU与CPU之间的执行关系：候选Token验证、采样、缓存更新以及下一轮计算的启动，都能在GPU内部完成。

IQuestRT还引入动态投机深度策略，由GPU估计继续预测是否值得付出额外计算成本。

在MoE专家路由上，它会在正式路由结果产生前，先预测可能被调用的专家，并将对应权重提前加载到GPU的L2缓存中。

跨GPU通信方面，IQuestRT设计了一套利用NaN标记进行同步与归约的方法，减少了额外的同步操作。

更值得关注的是，AI Agent参与了IQuestRT的研发过程。多个Agent并行开展代码实现、性能实验和调试，仅用两周就超过了团队此前人工精细调优的分块计算流水线。

工程师仍负责目标设定、正确性约束和最终审核，Agent则并行开展更多代码探索和实验验证。

目前，IQuestRT已在GitHub公开代码，采用Apache-2.0许可证。