理想的大语言模型推理芯片会是什么样?
大模型推理芯片该如何设计?视频从连接性、算力、存储三大构件讲起,比较CPU与GPU的取舍,说明存储瓶颈和并行性如何影响系统
随后聚焦自回归推理:GPU、TPU生成token常被内存带宽卡住,TPU脉动阵列擅长矩阵乘法,单用户仍受片外取数限制
Cerebras用晶圆级集成、自愈互连和片上内存,让权重驻留本地、激活值在层间流动,加速token生成
00:00:00 通信系统的基本要素是什么?
00:00:34 半导体基础
00:01:53 SRAM与DRAM的区别
00:02:53 CPU面临的瓶颈是什么?
00:03:43 为何GPU在图形领域独具优势?
00:05:29 训练与推理工作负载
00:06:48 TPU的脉动阵列
00:08:47 晶圆级为何难以制造?
00:10:01 Cerebras如何解决良率问题?
00:11:42 减少数据搬运
#微博视频精选大赏##海外编译精选# http://t.cn/AXTXZ147
发布于 浙江
