IT源哥 26-03-25 08:33
微博认证:科技博主 头条文章作者 超话主持人(码农超话) 微博原创视频博主

token正式中文名称--词元

因为长期接触 AI,我早就习惯 token 这个单词,突然间被叫做词元,还觉得很不习惯。

感觉词元不像计算机行业的术语,一般称令牌。

可能是 AI 太成功了,早已超越计算机行业,而用令牌,在其他行业又不合适,所以才会创造一个新词。

词元感觉是一种意译,本身这个单词不是这个意思,但是在理解大模型 token 的运行机制后,选择了这个翻译。

发布于 广东