反复让AI改几个词却消耗大量Token,根源在于每次修改都是一次完整的“重读上下文+重写全文”——模型不会只处理你指出的那几个字,而是把整段对话历史连同修改指令重新过一遍,输出端再从第一个字重新生成。海外模型Fable 5.2有一个直接对照:每百万Token单价降了两成,但同一套编程题最高档单任务花掉44.7美元,低档只要2.1美元,产出Token量反而多了七成。
一、Token账单分三块,改词主要烧在输出端
输入Token:你发的修改指令、贴回的原文、以及模型每次都要重新读取的整段对话历史,都算输入。
输出Token:模型重新生成的完整回复。输出Token需要逐次生成、计算密集,定价通常是输入的数倍。
缓存Token:稳定不变的前缀内容(如系统提示、已上传文档)可以走缓存复用,单价更低。改几个词时如果对话已经很长,缓存没命中,整段历史就按输入价重新计费。
二、多轮对话是滚雪球,不是“只处理最后一句”
历史全程携带:模型每一轮都要重新读取此前所有对话。有用户讨论提到,对话进行到15—20轮后,每条新消息的隐性成本会因历史堆积而明显上升。
越改越长的上下文:每次让AI“再改改”,上几轮的草稿、修改意见、被否掉的版本都留在上下文里,后续每轮都在为这些冗余内容付费。
输出端整篇重写:哪怕只改一个词,模型也是从回复的第一个Token开始重新生成,不是局部替换。
三、两种“活法”的分野就在这一步
把AI当“一次交付工具”:先自己改好再让AI做大规模重构或初稿生成,零星字词自己动手,Token花在刀刃上。
把AI当“反复打磨的助手”:几个字也发一轮修改指令,对话越拖越长,输出端整篇重写,Token大量消耗在重复生成上。
分界点:大规模逻辑调整、结构重写交给AI是划算的;个别措辞、少量文字微调,人自己改几秒完成,反而更高效。