感觉REAP剪枝都已经是钛合金剪子了，看到新模型就想剪一下，0xSero 搞了个极限剪枝版本，REAP剪枝+AutoRound W4A16量化, 从700GB压缩到了92GB, 并且性能仅仅下降了一丢丢.

显存不足的同学可以试试这个版本. 不过说实话, 92GB 考虑到预留一部分显存用作上下文空间, 还是得4块48GB显存的卡才行 (为啥不是3块? 因为有的推理引擎不支持张量并行使用非 2^n 数量的显卡.....)

他们还搞了MiniMax 和其他模型的极限剪枝版本, 比如 MiniMax-M2.1-REAP-50-W4A16, 只有59GB.

模型地址: huggingface.co/0xSero/GLM-4.7-REAP-50-W4A16

#ai生活指南# #ai创造营#