无事小正经 26-04-23 09:24
微博认证:投资内容创作者 财经观察官

【西部科技】谷歌发布TPU v8,关注互联技术的持续升级

[太阳]互联带宽升级:在Scale-up层面,TPU v8的片间互联带宽从TPU v7的9.6 Tbps提升至19.2 Tbps,是原有带宽的2倍,同时通过Boardfly拓扑改变了数据的流动路径。在Scale-out层面,TPU v8的Scale-out带宽提升了4倍,达到400 Gbps。

[太阳]算力芯片架构更新:面向推理场景,TPU 8i将片上SRAM提升了3倍(达到 384 MB),目的将模型的 KV Cache尽量保留在片上,减少对HBM的网络请求,降低推理延迟。同时,TPU 8i集成了集体通信加速引擎,将芯片内通信延迟降低了5倍。

[太阳]我们认为:算力基础设施的形态还在持续迭代,推理场景瓶颈不只是单芯片算力,更多地要依靠互联技术软硬件的持续突破提升计算效率。因此,在互联技术领域与客户有较强绑定关系的头部企业有望充分受益。

建议关注:1)MPO​​:长芯博创;2)光模块:中际旭创、新易盛、汇绿生态;3)OCS产业链:光库科技;4)CXL:澜起科技。

郑宏达 陈彤 李想

发布于 广东