#AI科普# 在机器学习和神经网络的书籍中，你肯定看到过 “学习率（Learning Rate）” 这个词。它到底是什么？又是如何影响神经网络学习效果的？

AI 科普达人 New Machina 将用 3 分钟的时间，让大家了解这个机器学习中的重要概念。

模型在训练过程中会不断根据误差调整权重，而学习率决定了每次调整的大小。可以把它想象成一个旋钮。拧大一点，模型更新得更猛，学习速度快，可能很快就接近答案。但问题是，步子太大，容易一步跨过最优点，结果来回震荡，甚至直接跑偏。反过来，如果学习率设得很小，每一步都很谨慎，训练过程相对稳定，但速度却变慢了，有时还可能在某个局部最优点附近磨蹭很久。

所以，学习率既不是 “越大越好” 也不是 “越小越好”，必须让它在速度和稳定性之间做取舍。这也是为什么在实际训练中，学习率往往是最先、也是最需要反复调试的超参数之一。

另外，学习率还经常和批量大小（Batch Size，http://t.cn/AXbc5QRy）一起被讨论。理论上，它们是相互独立的参数，但在实践中却很难分开看。通常情况下，小批量训练带来的梯度噪声更大，学习率也需要相对保守。而当批量变大、梯度更稳定时，往往可以配合更大的学习率，提高整体训练效率。

说到底，学习率并不是一个抽象的数学概念，而是直接影响模型 “走路方式” 的设置。走得太快，容易摔跤。走得太慢，又可能迟迟到不了终点。理解这一点，比记住某个推荐数值更重要。真正有效的学习率，往往来自对模型、数据和训练过程的不断试验与观察。

#机器学习##学习率##神经网络##科技先锋官# http://t.cn/AXb0pmXB