有网友看到图一,又开始觉得 token 没必要翻译成词元。
那这里写一个 token,你猜猜是:
1️⃣街机游戏币
2️⃣某种地铁实体票
3️⃣编译原理、词法分析中,程序的最小语义单位
4️⃣这枚戒指,是小明跟小红爱情的 token
5️⃣网络认证用到的一种凭证(令牌)
6️⃣AI 大模型能理解的最小语义单位
……[doge]
写一个词元呢?没有歧义。
前面 token 那坨,央视都能搞混,然后由于央视搞混了,有人觉得不翻译更好,把这坨抛给广大民众。我不理解。
词元不完美,但也不是 token 能碰瓷的。
还有网友提到 Wi-Fi 翻不翻译。那个,我看酒店,甚至乡下村民都会说 Wi-Fi,应该没什么歧义吧?对了,苹果手机相关设置,中文会写成“无线局域网”,某国产手机用 WLAN。
原博其实很清晰了,也没去说“直角”这词有问题。
最后再强调,这种情况是翻译、是人或流程的问题,甚至可以说有 token 义项过多的影响,但不能说明词元这一翻译有问题。
发布于 广东
