风吟天下
26-08-08 15:36 微博认证:媒体人 微博乡村振兴助威团成员 旅游博主

刚刚刷到“Token”与“词元”之争,表面是翻译选择,实则是技术话语权的暗战。

中文语境里,“词元”更贴近语义颗粒度,而“Token”是西方AI体系的基础计量单位。别小看这二字之差——当全球开发者习惯用英文术语定义底层逻辑,中文技术社区就在被动接受一套预设的思维框架。

数据表明,大模型训练中中文语料占比不足5%,术语再被英文主导,我们连“定义”的资格都会流失。这不是语言洁癖,而是技术主权问题。用“词元”不只是翻译,是在重构认知坐标。 #用Token还是词元事关科技话语权#

发布于 山东