#词元token是什么#
好多人一听到token就觉得很玄乎,其实特别好懂。
简单说,token就是AI眼里的“文字单位”,不是我们平常说的字或词。它会把一句话拆成一个个小片段来理解和计算,不管是中文还是英文,都会被切成这种小词元。
我们平时聊天、写文案,AI都是靠数token来判断长度、计算用量的。弄懂它,你就看懂了AI最基础的工作逻辑,再也不会被各种术语绕晕啦💡 http://t.cn/AXfeSHCq
发布于 河北
#词元token是什么#
好多人一听到token就觉得很玄乎,其实特别好懂。
简单说,token就是AI眼里的“文字单位”,不是我们平常说的字或词。它会把一句话拆成一个个小片段来理解和计算,不管是中文还是英文,都会被切成这种小词元。
我们平时聊天、写文案,AI都是靠数token来判断长度、计算用量的。弄懂它,你就看懂了AI最基础的工作逻辑,再也不会被各种术语绕晕啦💡 http://t.cn/AXfeSHCq