HBM之父金正浩:AI的本质是内存,GPU真正工作的时间只有10%
"AI等于内存(AI = Memory)。"
AI能力的竞争最终是内存能力的竞争:"谷歌Gemini、OpenAI、Anthropic Claude,谁更强,是由内存决定的——这是我的主张。"
"GPU装100万台,真正工作的时间只有10%。"
每当ChatGPT输出一个词,系统就需要从HBM中读取数据、完成计算、再写回内存,"读和写几乎占掉了全部时间,GPU就在旁边干等着。"即便通过算法优化,GPU利用率也很难突破30%。
http://t.cn/AXoWgP25
发布于 江苏
