【#豆包日均Token使用量超120万亿#】算力够吗?
4月2日,火山引擎总裁谭待在AI创新巡展上披露重磅数据:豆包大模型日均Token使用量已突破120万亿,短短三个月内实现翻倍,较2024年5月发布时更是暴涨1000倍,成功跻身全球大模型调用量前三行列。这一数字背后,是AI智能体和多模态模型的全面成熟,也是AI应用场景的深度渗透——如今一次智能体任务往往包含多轮内部推理和工具调用,Token消耗量远超普通AI对话,也让“豆包的算力到底够不够”成为行业和用户最关心的核心问题。
要解答这个问题,首先要明确一个核心逻辑:Token是大模型处理信息的最小单元,也是算力消耗的“源头”,而算力则是支撑Token高效运算的“载体”,二者深度绑定,Token使用量的爆发式增长,必然对算力供给提出极高要求。据测算,120万亿日均Token用量,相当于豆包每天要处理远超千亿页文字的运算量,对算力的计算密度、访存带宽、通信效率都是巨大考验。但从实际运行情况来看,豆包当前的算力供给的能够稳稳支撑这一海量需求,核心依托三大底层支撑。
第一,字节跳动体系内的深度协同,筑牢算力基础。豆包与火山引擎同属字节跳动体系,二者形成深度绑定的技术与商业搭档关系,其中火山引擎为豆包提供了核心的底层基础设施支撑[2]。火山引擎拥有以GPU为核心的基础设施,具备高速互联带宽、全栈系统化推理优化等优势,更能通过与字节跳动国内业务并池,实现算力的高性价比和高稳定性,即便面对日均120万亿Token的大规模运算需求,也能保障流畅运行。
第二,软硬件协同优化,提升算力利用效率。字节跳动采用“自研芯片+主流GPU”协同部署的模式,自研芯片“海葵”与英伟达H100相互配合,将单芯片算力利用率提升至89%,远超行业平均水平35个百分点[5]。同时,通过优化运算框架、合理分配GPU集群资源,进一步降低单位Token的算力消耗,让有限的算力发挥更大价值,这也是豆包能够支撑海量Token运算的关键所在。
第三,超大规模算力基础设施投入,提前布局储备。为支撑豆包的千亿级推理需求,字节跳动已在内蒙古张北等地建设超大规模AI数据中心,单集群算力达EFLOPS级别(每秒百亿亿次浮点运算),形成了充足的算力储备[5]。这种提前布局,不仅能应对当前120万亿Token的日均用量,更能支撑未来Token使用量的持续增长,为豆包的迭代和应用落地预留了充足算力空间。
还要看到,豆包Token使用量的爆发,并非个例——今年3月,国家数据局披露我国日均Token调用量已突破140万亿,两年增长超千倍,整个AI行业的算力需求都在激增[3]。在此背景下,字节跳动的算力布局不仅支撑了自身发展,更契合行业“算力与应用深度协同、软硬件全栈优化”的发展趋势。
综上,答案很明确:面对日均120万亿Token的海量使用需求,豆包的算力供给完全足够。其背后是火山引擎的基础设施支撑、软硬件的协同优化,以及字节跳动在算力领域的长期投入和提前布局。随着AI智能体的进一步普及和多模态场景的持续深化,豆包的Token使用量大概率还会持续增长,而其算力布局也将同步升级,实现“算力支撑需求、需求驱动算力优化”的良性循环。
发布于 北京
