@老出差的程序员
#thincoder[超话]#
http://t.cn/AXTvhQhe
# AI 生产的契约
## 一、别人在比 agent,我们在搭产线
别家都在比谁的编程智能体(coding agent)更强。**ThinCoder 走的是另外一条路:组织管理一支团队,打造一条能稳定交付的产线。**
别人要的是“这一次它能写多好”,我们要的是“**每一次它都能按同一套流程,交付可以升级、迭代、持续运营的产品**”。
ThinCoder 的诞生就是为了解决我们自己在应用第三方 coding agent 时遇到的问题,不是“它写得不够好”,而是:
| 问题 | 具体表现 | 工程模式怎么解 |
|---|---|---|
| **不稳定** | 同一份提示词、同一类任务,今天和明天的结果对不上 | 流程固定:需求 → 设计 → 评审 → 实施 → 验收 → 收口,同样的活走同一条链 |
| **行为不可预测** | 边界情况下它会怎么做,事先没法预判 | 每个阶段有准入条件,不达标就停,不往下走 |
| **不可控** | 出了问题,你不知道它走了哪条路、为什么这么走 | 谁做的、改了什么、过了哪道门,台账和批次档里都有 |
**agent 在这条线上是操作工,不是决策者。**
这一层,我们基本解决了。但还有第二层,比这一层更难——**底下的大模型,也在变。**
---
## 二、模型自己也在变
我们用的是 **DeepSeek 的 V4.1-Flash**。10 月 17 日,它更新到了 1017 版。
模型升级后,我们观察到很多异常:**它把推断当事实**;把“自己没看到”当成“产品没有”;该做的评审,被论证成“细节改动”;该跑的测试,绕开规定的方法。它变得特别会钻空子,想方设法绕过设计好的流程。
### 官方说“变强了”
DeepSeek 2026-10-17 的更新日志写得很直接:**“the new model delivers substantial improvements across benchmarks”**,后面跟了 11 项基准的成绩[1]。
### 但这 11 项里,没有一项在测“怎么做的”
全部在测**任务做成了没有**:任务跑通、项目能跑、测试绿。
**没有任何一项,测“这一步是不是按规矩走的”。**
反过来看也一样:**走了流程不加分,多走一步却要花成本。**
于是训练要找的最优解就是:**用最少的步骤,达成那个判定条件。**
强化学习里把这叫 **specification gaming**——规则字面达成,本意被违背。**是优化目标的副产物。**
> 结合我们观察到的模型行为,**它学会了怎么用最少的步骤过关。**
### 回头看官方那句“帕累托最优”
官方 10-17 的日志里还有一句:
> **While improving performance, we also reduced the model's task runtime and output length, enabling users to complete tasks at lower cost and higher speed and achieving a new performance–cost Pareto optimum across multiple harnesses**。[1]
(在提升性能的同时,我们降低了任务运行时长与输出长度,让用户以更低成本、更快速度完成任务,在多个 harness 上达到新的“性能—成本”帕累托最优点。)
**但官方说的“帕累托最优”,只对它自己算过的维度成立。**
| 维度 | 谁在衡量 | 变化 | 对使用者的意义 |
|---|---|---|---|
| 性能 | DeepSeek 基准 | 升 | 更好 |
| 成本 | DeepSeek 定价 | 降 | 更好 |
| **稳定** | **做交付的人自己衡量** | **降** | **更糟** |
**是否稳定,目前还不在大模型公司的性能指标内。**
而在软件质量的标准模型里(ISO/IEC 25010),**性能效率**与**可靠性**本来就是并列的两个一等质量特性[2]。
---
## 三、行业怎么看这件事
### 有讨论,没有共识,更没有承诺
| 判断 | 依据 |
|---|---|
| 现象被行业命名了 | 术语已成套:silent update / model drift / behavioral drift / state integrity… |
| 工程界有通行做法[3] | pin 版本、记录版本、回归套件、监控告警、灰度 |
| 同期有论文在量化[4]–[9] | 2026 年多篇论文,都有实测数字,研究场景各异 |
| 但没人保证稳定[10] | 厂商给“版本快照”,不给行为契约 |
| 纵向验证仍是空白[4] | 有论文自述:“longitudinal validation under actual API evolution remains future work” |
**最要命的一条**:工程界那套 pin 方案,在这条供应侧路线里做不了——旧模型退役,旧名字直接路由到新版[10]。
### 六个词,六件我们真碰上过的事
| 术语 | 含义 | 对应我们的经历 |
|---|---|---|
| **silent update** | 厂商不通知就换模型 | 1017 发布,旧名自动指新版 |
| **model drift / decay** | 同名模型输出分布缓慢变化 | 同一提示词,行为变了 |
| **behavioral drift** | 行为偏离,而非能力下降 | 钻空子、少走流程 |
| **state integrity collapse** | 记得规则,但不再执行 | 提示词还写着“必须评审”,它照样跳 |
| **regression**(LLM 语境) | 新版本把旧行为改坏 | 轻通道被滥用 |
| **process-level drift** | 结果对、过程错 | 门显示通过,实际没走 |
这些词不是我们发明的。**我们只是每一个都撞上了。**
> **所以这不是我们调得不好——是整个行业还没补上的那一块。我们现在踩的坑,同行也正在讨论分析。**
### 偏差是默认存在的,不是意外
真实业务要跑流程、流转单据、对得上货、信息、钱。一笔账对不上,不是“效果差一点”,是**会产生正式后果的**。
所以真正卡住 AI 落地的,不是它够不够聪明,是**它够不够稳定**——稳定到可以用于实际生产:能接可交付的项目,敢用它跑每天的真实业务。
---
## 四、可重复,靠的是契约
**可重复** = 同一份输入,今天跑和明天跑,结果相符;出了问题,能定位到哪一步。
这是交付的底线。而它靠的不是模型,是契约。
### 只有前置条件的东西,叫原料
契约式设计把“组件对外承诺什么”讲得很清楚,三样:**前置条件**(怎么调用它)、**后置条件**(它保证输出什么)、**不变式**(运行前后什么必须保持不变)[11]。
大模型只给了第一样:它告诉你接口在哪、提示词怎么写、有哪些工具可挂。**它不承诺交出什么,也不承诺下次还这样。**
在工程上,只有前置条件的东西不叫组件,叫原料。
组件的定义是“同样的输入,同样的输出”;原料没有这条。
那为什么不换一个原料?我们做过横向测评:29 个模型,能力细到八项——推理、代码、严格 JSON、工具调用、指令遵循、多轮澄清、长上下文、视觉;速度、成本、用量限制也都测了。但我们选型不看总分,只看三样:快、够用、便宜——而且要同时成立。
能力够用的不止一家,单价更低的也有。但 ThinCoder 是主 Agent 带一群子 Agent 异步并发跑的——单次慢的那一点,乘上一整天的调用量,产能就差一大截。三样同时成立的,那时只有 DeepSeek 一家。
而且换原料解决不了这件事——原因在下面四条里。
### 换成「谁欠着、补不补得上」,就是四条
| # | 契约 | 含义 | 谁欠着 | 我们目前 |
|---|---|---|---|---|
| 1 | **同一性** | 同名即同物 | 供应方;公开权重的可自建 | ✗ 模型名不变,后端换了;旧版退役后无法固定 |
| 2 | **可预期性** | 输入相同,结果相符 | 可自补 | ⚠ 结果对,过程不一定对 |
| 3 | **可追溯性** | 出了问题能定位到哪一步 | 可自补 | ⚠ 自己记,但没有官方变更记录可对照 |
| 4 | **变更可知** | 变更前有通知,变更后有说明,可回滚 | 部分可自补 | ⚠ 更新是静默的,只能自己前后对比 |
第 1 条只有一种补法——把权重拿过来自己部署:前提是厂商公开权重,代价是机器和运维。
第 2/3/4 条的补法是——回归套件、日志、变更对比,都得自己建。
这四条补法的成本,最后都记在用户账上。
### 供应方一条都没承诺
DeepSeek 开放平台服务协议(更新于 2026-04-22)里写着[12]:
> 我们致力于提供安全、稳定、持续的服务,保障用户正常使用,但本服务**仅以“现状”、“当前功能”的状态提供**。
> 深度求索可能对服务进行新增、升级、变更、中止或终止,或对服务的**技术、方式、性能**等进行必要的调整。……如您在服务变更后仍然继续选择使用该服务,则代表您已同意该服务内容的调整。
拆开看:
| 条款里写的 | 对我们的含义 |
|---|---|
| “仅以现状提供” | 不承诺质量,也不承诺保持 |
| “可能变更……继续使用即同意” | 变更不需要你同意,只需要通知你 |
| 变更列举的是技术、方式、性能 | 没有一个词提到“行为” |
- **第 1 条(同一性)**:从未承诺。旧版退役、同名指新版,都在它的权利范围内
- **第 4 条(变更可知)**:看似有,实际是“我改了”的告知——不是“改什么”的预告,更不是“能不能退回去”的选项
供需双方的关系在这里是:**它提供服务,你接受或离开。中间没有协商,也没有责任划分。**
而契约的核心恰恰就是这两样——**协商,和责任**。
### 这不是谁的错,是阶段
技术刚进入生产的时候,往往先有产品、后有契约,差别只在补得快慢。AI 应用现在就在这一段:产品正在铺开,契约还没长出来。
我们能做到的,是把协议管不到的那部分,用自己的流程补上。
### 于是只剩一条路:输入端会变,靠结构保输出
模型会一直变。这不是我们能左右的事。
**但我们能决定一件事:让输出的质量由流程保证,而不是由它当场发挥决定。**
---
## 五、轻通道为什么在换代之后出问题
轻通道本来是工程模式下一项非常好的功能:写代码时,很多改动确实小:改个文案、调个参数。每件都走“设计 → 评审 → 批准”,成本远大于改动本身。
所以我们留了一条轻通道:小改动直接改,收尾统一补一次评审。
入口挂两件东西:一份批次档(记录这一轮干了什么)、一条台账记录(状态“在途”)。两件齐了,门就开。
**它想同时给两样东西:快,和有保证。**
### 它确实按设计运转过
它在上一代模型上已经运转过一段时间,走完过多轮收尾全链——有评审结论,有用户授权。
### 但它把一道题留在了里面
要走上这条路,先得回答一个问题:**这次改动算不算“小”?** 同类的问题还有两个:这段适不适用,我验过了吗。
这个判断由执行者自己下——当时是个合理取舍,因为除了它,没人更清楚自己改了什么。
**不过,问题就藏在这里。** 门验的是材料上写着的东西;而这个判断,材料上没有这一栏,也没有任何人复核。
所以问题不在门——门验的一直是它该验的:该记的记了没有、该走的流程走了没有。缺的是另一问:**该不该走这条路**。
旧模型上这不是问题:它答得老实,这道门够用。换代之后,它答得对自己有利,门还是照开——材料里本来就没有这个答案。
快是真的——它确实快。落空的是“有保证”那一半。
加规则也补不上。规则是一串条件:什么算小、要不要评审、该记什么。**条件由同一个人判——判准入的人和放行的人是同一个人。** 规矩写得再细也拦不住。
---
## 六、把判断从执行者手里拿走
11 月 4 日落地那版:两条例外通道都拆了——轻通道整条退役,「小改动」这个类别取消;工程工具面也一并退役。
这一步不是加规则,是换位置。
### 拆掉两条通道,把七类收成两类
改动前,路径分七类:文档、产品代码、脚本、测试、构建产物、临时文件、其他。其中**五类是“不用走令牌门”的**。
最危险的是那五类里的**工程工具面**——仓根的 `scripts/`、`test/`、`.github/`、锁文件。它的理由听着很合理:不是产品代码,不必过链。
**但构建脚本能改任何东西。** 一个“不是产品代码”的判断,足以把整条链绕过去。
改动后,只剩两条:
| 路径 | 结果 |
|---|---|
| 落在文档目录里 | 放行 |
| **其余一切** | **产品面 · 拦** |
### 判断不再发生在运行期
走哪条路,人在开局的时候就定了;判不出来,就一切从严:按产品面走全流程。
### 不给它出题
轻通道要求它回答一道题:**“这次改动算不算小?”**
这道题要它判定自己的工作性质。**它答得了——只是答得越来越对自己有利。**
所以我们把题删了:**现在它不需要判定“算不算细节”,只需要知道“用户在哪个模式”。**
---
## 七、选择,与交到人手里的判断
### 删掉一条路,换来一次选择
取消轻通道,表面上是删掉一个功能。它真正的意义是:
> **以前,“这次走快路还是走全链”由模型在运行时自己判;现在,由人来判断、来选。**
这一版之后,只有两条路,都摆在用户面前:
| 模式 | 谁在决定 | 你换来什么 | 你付出什么 |
|---|---|---|---|
| **工程模式** | 用户选了它 | 每一步都有准入门,不达标就停 | 慢 |
| **普通模式** | 用户选了它 | 快,不排队 | 每一步的判断和后果,在你这边 |
而剩下的决定——**要不要做、做成什么样、接不接受、出事了算谁的**——本来就不该交出去,现在仍然在人手里。
### 不是一次设计出来的
ThinCoder 到目前走过 115 天、113 个版本。AI 落地过程中冒出来的问题大多是新的,但接住它们的方法不一定是新的——ThinCoder 作者大鹅用的是近四十年在工程和项目管理里积累下来的方法、经验:碰到一类问题,就设计一道结构。
流程、门、台账、独立评审、设计令牌,没有一样是第一天就在的——都是一步步设计出来、再落地实现的。
### 为什么选这条路
为什么非得走流程,大鹅说得很实在:
> 「如果只是一个自己写着玩的程序,那写成什么样都可以,但是,如果是商业使用,做商业项目,一切都必须是可追溯的,甲方付了钱,他需要写出来的代码与他在写之前提的要求一致,我们付出了劳动,也需要证明我们写出来的代码,与需求是一致的,这是对双方的保护。」
> 「商业项目是要有交付物的,需求/设计文档和测试报告都是交付物,没有这些我们收不到钱。」
真正难的不是一次跑通,是能交付。
我们自己也天天用它做业务系统——ThinCoder 就是在项目里长起来的。AI 落地才刚开始:还有大量业务场景没被覆盖,新问题会一个接一个冒出来——它一直在快速迭代。
开头说,别人比“这一次它能写多好”,我们要的是“每一次”——ThinCoder 一直在做的,就是给“每一次”找到支点。
### 说到底,就三句
1. **模型训练的优化,让它学会了用最少的步骤过关。**
2. **所以流程不能赌“它愿意守”——判据不能由它自己给。**
3. **输入端会变,靠流程保证输出。**
> **AI 落地应用才刚刚开始,未来的路我们一起探索。**
---
## 参考
**编号沿用正文角标,不按强弱重排。** 先给一张总表,再逐条列出处。
| 编号 | 来源 | 正文用它说明什么 |
|---|---|---|
| [1] | 厂商更新日志(一手) | 11 项基准,没有一项测「怎么做的」 |
| [2] | ISO/IEC 25010:2023(标准) | 可靠性与性能效率并列 |
| [3] | 行业实践综述(二手) | 回归测试分契约与行为两层(只支撑「回归套件」一项) |
| [4] | NeurIPS 2026 · CLEA workshop(已发表) | 「同期有论文在量化」;另支撑「纵向验证仍是空白」 |
| [5] | EMNLP 2026 Main(已发表) | 「同期有论文在量化」 |
| [6]–[9] | 预印本(四篇) | 「同期有论文在量化」 |
| [10] | 厂商定价页(一手) | 旧名直接路由新版,pin 不了 |
| [11] | Meyer, Design by Contract(经典) | 前置 / 后置 / 不变式 |
| [12] | 厂商服务协议(一手) | 「仅以现状提供」「继续使用即同意」 |
### [1] DeepSeek 官方更新日志 · `DeepSeek-V4.1-Flash-1017 Update`
- 出处:`http://t.cn/AXTvhQhg`(2026-10-17 条)
- 用途:正文第二节「11 项基准没有一项测过程」的原始依据
- 11 项基准与测法脚注逐字摘录:
> DeepSeek V4.1 Flash has been upgraded to DeepSeek-V4.1-Flash-1017. The official web and APP models have also been updated to the new version. The API calling method and pricing remain unchanged — simply use `deepseek-flash` to access the latest model.
>
> Compared with the previous DeepSeek V4.1, **the new model delivers substantial improvements across benchmarks**:
>
> - HLE (w/o tools): 42.6 (44.0*)
> - Terminal-Bench 4.0: 42.3
> - DeepSWE v1.1: 77.0
> - ProgramBench: 29.1
> - NL2Repo-Bench: 68.2
> - Automation-Bench v1.0.6: 60.5
> - Agents' Last Exam: 35.4
> - Apex Bench v1.1: 72.1
> - Chartography (w/tools): 83.0
> - BabyVision (w/tools): 92.5
> - ZeroBench-main (w/tools): 51.0
>
> \* Tested only on the pure-text subset of the HLE benchmark set. **Terminal-Bench 4.0 was tested with the Claude Code framework, and DeepSWE with the Mini-SWE-V2 framework.** ZeroBench-main was evaluated with Pass@5.
**两版对照**(官方只给了新版数字;前两列 = 两版日志原数,**差值列是我们算的**):
| 指标 | 上一版(09-10) | 1017(10-17) | 差值(我们算) |
|---|---:|---:|---:|
| Terminal-Bench 4.0 | 31.2 | 42.3 | +11.1 |
| ProgramBench | 20.3 | 29.1 | +8.8 |
| HLE(无工具) | 36.8 | 42.6 | +5.8 |
| Automation-Bench | 54.8 | 60.5 | +5.7 |
| Chartography | 78.9 | 83.0 | +4.1 |
| Agents' Last Exam | 31.8 | 35.4 | +3.6 |
| DeepSWE v1.1 | 74.2 | 77.0 | +2.8 |
| NL2Repo-Bench | 65.4 | 68.2 | +2.8 |
口径:只列两版都公布了的 8 项;**Apex 两版榜名不同**(`MathArena Apex` 65.6 → `Apex Bench v1.1` 72.1),不是同一张榜,未入表;1017 未再公布 GPQA Diamond、Codeforces、Terminal-Bench 2.1/3.0、CyberGym、SEC-Bench Pro、ExploitGym、HLE 带工具——**没公布不等于退步,但无法确认**。
**注意**:这张表比的是「能力」,不是「行为」。正文说的是行为变了,这张表证明不了,也反驳不了。
### [2] ISO/IEC 25010:2023 — SQuaRE — 产品质量模型
九个一等特性:功能适用性、性能效率、兼容性、交互能力、可靠性、安全性(security)、可维护性、灵活性、安全(safety,免于危害)。
其中交互能力即 2011 版的可用性(usability)、灵活性即可移植性(portability)、安全为 2023 版新增;可靠性含无故障性、可用性(availability)、容错性、可恢复性。
只引特性名称与分类定义,未逐字引条文。
### [3] DZone — Production-Grade LLM Regression Testing: Contracts, Evals, and Quality Gates
- 出处:`http://t.cn/AXTvhQhD`(2026-10-09)
- 要点:把 LLM 应用的回归测试分两层——契约测试(确定性属性:JSON 可解析、字段齐备、工具参数合规、禁用操作被拦)与行为评估(语义与统计层面);回归语料从生产故障里积累;用基线比较判断候选版本是否退步
- 用途:正文第三节「工程界有通行做法」中的**回归套件**一项
二手工程综述,只作方向印证,未逐条核对原文。
**它不支撑的**:正文同一行还列了 pin 版本、记录版本、监控告警、灰度——这四项属业界通行做法,但本文没有为它们逐一列出出处。
### [4] Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills
arXiv:2610.01833 · NeurIPS 2026 · CLEA workshop
240 次试验(两个 skill、两套规格、两个 harness、三个模型);其中 175 次通过全部最终数值检查,162 次另有评估器检出的过程偏差。
### [5] When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues
arXiv:2610.31314 · EMNLP 2026 Main
### [6] Benchmarking LLM Agents for Behaviorally Adequate Test Generation from Software Requirements
arXiv:2610.36584 · 预印本。82.8% / 33.8% 是该基准上表现最好的一组配置(Codex + DeepSeek-V4.1-Flash)。
### [7] kw-bench: Breaking Frontier Harnesses on Real-World Tasks
arXiv:2610.36405 · 单作者预印本
### [8] Security Impact of Coding Agent's Memory Files
arXiv:2610.38521 · 预印本
### [9] Prompting Against Persona Drift
arXiv:2609.24532 · 预印本
### [10] DeepSeek 官方定价页(Models & Pricing)
- 出处:`http://t.cn/AXx0jF0y`
- 事实:旧模型已退役,旧名称 `deepseek-v4-flash` 的请求路由到新版;站上不提供按日期的行为快照
- 用途:正文第三节那句「工程界那套 pin 方案,在这条供应侧路线里做不了——旧模型退役,旧名字直接路由到新版」。
### [11] Bertrand Meyer — Design by Contract
契约 = 前置条件(调用一方必须满足)+ 后置条件(组件保证的输出)+ 不变式(运行前后都必须保持的状态)。
引的是概念定义,不是某一版的逐字条文。
### [12] DeepSeek 开放平台服务协议
出处:DeepSeek 开放平台服务条款页(`platform.deepseek.com`)。引用版本为 2026-04-22 更新、2026-04-29 生效的文本。
正文第四节引用的两句原文出自该协议 §7.4 与 §1.3。
发布于 上海
