向小田 23-07-09 11:10
微博认证:2024微博年度新知博主 科技博主

7月7日上午,清华大学电子工程系教授汪玉表示,若以大语言模型作为底座,同时处理我国14亿人的推理请求,所需的计算量超过目前我国数据中心总算力的3个数量级。他由此强调我国现有算力资源的紧张程度。
“没有大算力,做大模型就是天方夜谭。”中国工程院院士、鹏城实验室主任高文也在WAIC上透露,团队正在紧锣密鼓地对一个2000亿参数的大模型进行训练,至少“需要4000块卡训练100天”。

发布于 上海