#大模型日报# #ai前沿动态# 【使用范数约束LMO训练深度学习模型】链接：http://t.cn/AXb4ilcj论文概述：本文颠覆性地将用于约束优化的LMO算法框架应用于无约束的深度学习训练，不仅从理论上统一了SignSGD、Muon等多种优化器，更通过为神经网络架构“量体裁衣”般地设计算子范数（SCION），实现了

#大模型日报# #ai前沿动态#

【使用范数约束LMO训练深度学习模型】

链接：http://t.cn/AXb4ilcj
论文概述：本文颠覆性地将用于约束优化的LMO算法框架应用于无约束的深度学习训练，不仅从理论上统一了SignSGD、Muon等多种优化器，更通过为神经网络架构“量体裁衣”般地设计算子范数（SCION），实现了一个内存高效、性能卓越且（反直觉地）具有跨模型尺寸超参数迁移能力的全新优化器。