一次深度调试 PyTorch 的经历
http://t.cn/AXwgcghW
开发者Elana Simon 详细记述了一次深度调试 PyTorch 的经历。
最初，开发者以为问题出在超参数调整上，但实际上是PyTorch的MPS（Apple Silicon GPU）后端存在一个bug。具体来说，PyTorch的addcmul_和addcdiv_操作在写入非连续内存时默默失败，导致模型的编码器权重在训练过程中被冻结。
这篇文章不仅分享了一个具体的技术问题解决过程，还通过这一过程展示了如何从复杂的错误中学习，理解底层架构，并且在调试过程中提升自己的技能。