甜草莓的科学小屋
26-03-27 21:54 微博认证:南方科技大学副研究员

#文言文 可减token乎#说实话,我之前也琢磨过这个想法。文言文多精简啊,寥寥数字就能表达一大段意思,按理说 Token 肯定能省不少对吧?但你仔细想想这个问题,会发现其实没这么简单。

AI 不是按字数来算钱的,它是按 Token 来计费的。
Token 你可以理解为 AI 眼里的"词块"。对于咱们日常说的现代白话文,AI 的分词器熟得很,"人工智能"四个字它一下就能认出来,算一个 Token。但文言文不一样,它在 AI 的训练数据里占比特别小,大部分 AI 模型主要吃的是现代汉语和英文,所以很多文言文里的单字或词组对它来说是生面孔。生面孔怎么办?只能一个字一个字地拆开看,甚至拆成好几个编码来处理。结果就是虽然你肉眼看着字数少了,但 AI 实际处理的 Token 数量可能并没有省多少。

更重要的是沟通成本。这就好比你跟一个只会说普通话的朋友硬要用方言聊天,他虽然能听懂,但脑子里得多转一道弯。AI 也是一样的,用文言文问它,或者让它用文言文回答,会把它拉出最擅长的数据舒适区。这不仅限制它的逻辑推理能力,还特别容易让它理解偏了、胡说八道了。你为了省那一星半点 Token,开头来来回回纠正它,花的代价比省下的还多。

所以平时用 AI 就跟交朋友聊天一样,自己怎么舒服就怎么表达。真没必要为了省那么点算力,把日常提问搞得跟科举考试似的。痛快明白地说大白话,才是最高效、最舒心的用法。
以上。

发布于 黑龙江