[CL]《TRIM: Hybrid Inference via Targeted Stepwise Routing in Multi-Step Reasoning Tasks》V Kapoor, A Gupta, H Chen, A Beniwal... [Amazon & CMU] (2026)

大模型推理的成本与性能之争，正在从“选哪个模型”进化到“在哪个步骤用模型”。

在多步推理任务（如复杂数学或代码）中，我们常面临一个尴尬的困境：大模型太贵，小模型又容易在某个关键步骤出错，导致整个推理链条发生级联失效。传统的路由方案（Routing）通常是“全有或全无”，即根据问题难度，要么把整个任务交给大模型，要么全给小模型。

最新论文 TRIM 提出了一种更聪明的思路：手术刀式的步骤级路由。

1. 级联失效：推理中的蝴蝶效应
在多步推理中，逻辑的连贯性至关重要。一个小小的计算失误或逻辑偏差，就会像推倒了第一块多米诺骨牌，让后续的所有努力付诸东流。以往的路由方案忽略了一个事实：并非推理过程中的每个字、每个步骤都同样困难。

2. TRIM：只在关键时刻请大模型出手
TRIM 的核心逻辑是：让小模型负责常规的推导，而将那些可能导致方案崩盘的关键步骤路由给大模型。
它引入了过程奖励模型（PRM）来实时评估小模型生成的每一步。如果某一步的得分低于门槛，大模型就会介入并重新生成该步骤，随后再将接力棒交回给小模型。这种“局部干预”避免了昂贵的大模型在简单步骤上的浪费。

3. 三种策略：从直觉到算法的演进
TRIM 设计了由浅入深的路由策略：
- 阈值策略（TRIM-Thr）：最直观方案，得分低就换人，简单却极其高效。
- 强化学习策略（TRIM-Agg）：通过 RL 训练，让路由决策具备长程眼光，权衡当前的干预成本与最终的正确率回报。
- POMDP 策略（TRIM-POMDP）：将 PRM 的评分视为“带噪声的观测”，通过部分可观测马尔可夫决策过程，在不确定性中寻找最优的干预时机。

4. 令人惊叹的效率提升
实验数据证明了这种细粒度干预的威力。在 MATH-500 评测中，TRIM 仅需消耗大模型 20% 的 Token，就能达到大模型全量输出的性能水平。在更难的 AIME 竞赛题上，其成本效率提升了 6 倍以上。

5. 深度思考：智能的非均匀分布
TRIM 的成功揭示了一个深刻的见解：智能在推理路径上的分布是不均匀的。
一个复杂的证明过程，往往由 80% 的常规推演和 20% 的关键跃迁组成。真正的推理效率，不在于堆砌算力，而在于精准识别并捕捉那些能够改变结果走向的“少数派”关键点。

6. 跨领域的泛化能力
令人惊喜的是，这种路由策略表现出极强的泛化性。在 AIME 训练的路由模型，直接应用到 OlympiadBench 或 Minerva Math 上依然表现强劲。这说明“步骤难度”和“错误模式”在不同数学领域之间具有某种底层的通用结构。

深度启发：
我们过去习惯于把模型看作一个黑盒，现在我们需要把它看作一个动态的决策流。TRIM 告诉我们，未来的推理成本优化将不再仅仅依赖于模型蒸馏或量化，而在于如何构建一套敏锐的“感知系统”，在推理的每一个微小瞬间，实时判断智能的边际价值。

最好的推理不是最贵的，而是把最贵的智能用在最不可替代的转折点上。

arxiv.org/abs/2601.10245