林木羽 26-03-08 08:18
微博认证:微博原创视频博主

大模型领域的token这个词一直没有公认的翻译

词元、字元其实都不大对
因为大模型内部输出的时候每个token对应的并不一定是字词

我个人斗胆想了个“元量”
既保留了“单元”这个模棱两可的概念
又有“量”来突出它是一个计量单位
整体还有很贵要花很多元的感觉

在下认为还可以,当然,其实不翻译也没有问题,毕竟transformer到现在也没有官方翻译[二哈]

发布于 福建