大模型常提到的 token 一直没有很好的翻译,经常翻译为「标记」「词」「令牌」等。
虽然大众,但是脱离了上下文仍很难准确表达词义。
那么,token 究竟是什么?如何通俗易懂地解释?
AI 语境中如何翻译「token」这个词更恰当?
来自知乎答主【邱锡鹏】【笙囧同学】
发布于 北京
大模型常提到的 token 一直没有很好的翻译,经常翻译为「标记」「词」「令牌」等。
虽然大众,但是脱离了上下文仍很难准确表达词义。
那么,token 究竟是什么?如何通俗易懂地解释?
AI 语境中如何翻译「token」这个词更恰当?
来自知乎答主【邱锡鹏】【笙囧同学】