大模型推理太慢？来看——Sparse Transformers稀疏推理加速器

简单来说，这个项目通过稀疏化技术让 Transformer 大模型推理提速1.6-1.8倍，提供：
- 融合稀疏C++内核优化MLP层计算
- 差分权重缓存机制动态管理激活权重
- CPU/CUDA双平台支持，完整工具链
- 开箱即用的LLaMA模型稀疏化实现

"差分权重缓存"技术会通过智能预测激活模式，只缓存真正需要的权重，实现6.7倍更快的缓存更新。项目还创新性地融合了Gate+Up投影操作，大幅减少内存访问开销。

目前在LLaMA 3.2 3B上实现了惊艳效果：首Token时间提升1.51倍（1.209s→0.803s），生成速度提升1.79倍，同时内存占用减少26.4%（13.25GB→9.75GB）。

技术亮点包括配对替换算法、稀疏MLP前向计算、OpenMP并行化优化等。开发者可以直接通过pip安装使用，支持自定义稀疏性配置和性能基准测试。

项目地址：github.com/NimbleEdge/sparse_transformers

#ai创造营# #AI生活指南#