语林撷英

雅而有趣,俗而不伤。
头像
寂默心流
网站管理员
帖子: 2001
注册时间: 2024-04-13 11:36
联系:

Re: 语林撷英

帖子 寂默心流 »

词元
3月24日,在中国发展高层论坛2026年年会上,国家数据局局长刘烈宏正式宣布,将Token的中文标准译名确定为"词元"。
https://www.eet-china.com/news/202603258297.html

  Token这个词最早来自编译原理,指的是最小的词义单元,到了目前最火的大语言模型里它成了处理文本的最小数据单元。而最让它出圈的却是调用大模型的收费计量单位就是Token,所以和钱挂钩了,叫“元”挺好的。目前各大企业衡量员工使用AI的工作量就用的单位时间烧掉多少token为依据,现在百万起步,上亿很普遍,上万亿才算有点儿意思。呵呵。为啥这么大的消耗呢,因为计费Token不是光算你提问交流的Token和它输出结果的Token,还包括模型推理的一大堆Token,以及它自言自语的Token,再加上它调用一堆其它模型所消耗的Token,所以模型不停,烧Token不止,就问你肉疼不肉痛。哈哈。
勇于在所有领域发挥理性
回复