【#45秒教你理解词元和算力#】#一个词元相当于几个汉字# “Token”词元可以看作是AI理解人类语言的最小单位。就好像教婴儿说话,不会一开始就教他读整篇文章,而是拆成一个一个的句子,再把句子拆成字词。一个冷知识:3个英文字母大约等于1个词元,1个汉字约等于1到2个词元。而处理每个词元都要消耗算力,词元就像砖头,算力就像搬砖的力气,词元用得越多,需要的算力也就越大。目前,我国日均词元调用量达到数百万亿次。 http://t.cn/AXKrEZYy

西北信息报
26-07-18 19:27 微博认证:《西北信息报》官方微博