【[121星]ShallowSim:一个开源项目,用于模拟 DeepSeek-V3/R1 模型在不同硬件配置下的推理性能,特别关注不同 GPU 架构下的最优模型架构设计及 Scale-Up 和 Scale-Out 场景下的中心总线带宽要求。亮点:1. 支持多种GPU架构,精准分析模型性能;2. 提供详细的性能对比报告,助力高效模型设计;3. 可视化性能数据,直观展示不同配置下的推理效率】
'ShallowSim is a simulator used for analyzing the inference performance of the DeepSeek-V3/R1 model.'
GitHub: github.com/zartbot/shallowsim
#性能模拟# #GPU优化# #AI模型设计# #AI创造营#
发布于 海南
