从来没意识到transformers的实现这么抽象…
7b模型，用八卡torch原生dp能跑，但是用transformers的device_map auto竟然爆显存，我真的是笑了[微笑]
发布于 美国
wwz说话
从来没意识到transformers的实现这么抽象…
7b模型，用八卡torch原生dp能跑，但是用transformers的device_map auto竟然爆显存，我真的是笑了[微笑]