响指微观
26-11-11 15:17 微博认证:洪范科艺官方微博

Arm 与 Google Cloud 协同设计 TPU 8i Max 基础设施,加速迈向智能体时代

基于 Arm 架构的 Google Axion 主机处理器进一步拓展其在 Google TPU 产品组合中的应用,为高需求 AI 工作负载提供所需的高性能与能效

Google Cloud 正在其最新 TPU 系统之一采用 Google Axion 处理器。Google Axion 是基于 Arm Neoverse® 平台打造的定制 CPU,随着 TPU 8i Max 的推出,Google 将进一步拓展 Axion CPU 在其 AI 加速器中承担主机计算的应用,此前其已在 TPU 8t 和 TPU 8i 中承担这一角色。

Google Axion 提供 CPU 算力基础,支持 Google AI 基础设施应对大规模训练、实时推理以及需求日益提高的智能体 AI 工作负载。Google 将 Axion 扩展至 TPU 8i Max,成为 Arm 持续赋能下一代 AI 基础设施核心系统的又一重要里程碑。

推动AI系统整体性能提升

AI 性能并非仅取决于加速器。CPU 负责准备数据、编排工作负载,并运行确保整个系统高效运转的基础设施软件。随着智能体进行推理、使用工具并协调复杂任务,对 CPU 计算基础的需求也在不断提高。

借助 Axion,Google 将 Neoverse 的性能与能效优势与专为自身基础设施打造的定制芯片相结合,并将这一方式进一步扩展至 TPU 8i Max,再次凸显了 CPU 与加速器协同设计对于对于推动 AI 规模化发展的重要性。

基于 Arm Neoverse 平台的 Axion CPU 为 TPU 8t、TPU 8i 与 TPU 8i Max 提供主机运算能力
Google Cloud AI 与计算基础架构副总裁兼总经理 Mark Lohmeyer 表示:“要规模化释放 AI 性能,需要协同设计 CPU 与加速器,使二者无缝协作。基于 Arm 架构的 Google Axion 处理器能够满足高需求 TPU 系统主机工作负载要求的性能、能效与灵活性。通过 TPU 8i Max,我们正在进一步扩展这一协同设计基础,帮助客户应对最复杂的 AI 应用挑战。”

开启推理新时代

Google Cloud 的持续投入反映出广泛的行业趋势,即通过 CPU 与加速器的协同配合,开启 AI 推理的新时代。除了为加速器提供主机计算之外,Google Axion 还为运行智能体运行时和编排框架的通用云实例提供支持。

今年早些时候,Google Cloud 发布了 Google Axion N4A,与同代、同级的 x86 虚拟机相比,其性价比最高可提升至 2 倍。通过在 Axion N4A 上运行 GKE Agent Sandbox,客户还可以安全隔离智能体 AI 工作负载,并将性价比提升 30%。在此基础上,GKE 上的 Agent Substrate 同样原生支持 Google Axion 处理器,提供一种开源、预设安全保护的智能体执行运行时,旨在支持数百万个沙箱运行,其密度可达到标准容器运行时的 10 倍。

从驱动 Google 最新的 TPU 系统,到支持数百万 AI 智能体规模化运行,Arm 正助力打造下一代 AI 的计算基础。

发布于 广东