马少平THU 26-03-20 13:23
微博认证:清华大学计算机系教授 马少平

主张把token翻译为智元的,或者没有真正理解token的含义,或者在贩卖私货,赞同大模型的这个回答:
1,Token ≠ 智能:Token只是大模型处理文本时的最小切分单位。它可以是“的”、“吗”这种无意义的虚词,甚至是半个汉字或乱码。它本身不携带智能,只是承载信息的载体。用“智”字命名,属于过度包装。
2,混淆了“载体”与“内容”:大模型的“智能”体现在对Token序列的关系建模上,而不是Token本身。把载体叫“智元”,就像把砖头叫“房元”,逻辑上本末倒置。

发布于 北京