蚁工厂
25-08-19 20:15 微博认证:科技博主

这篇文章详细记录了作者(Launch Platform)首次成功地在GPU上实现了一种无需反向传播(Backpropagation)的高效训练方法,他将其命名为“Marketplace”(市场)算法。
http://t.cn/A6ssfz3u
作者认为,尽管反向传播是当前主流且有效的训练方法,但它存在内存消耗大、依赖关系复杂导致难以扩展等问题。他希望能找到一种既能避免反向传播缺点,又能在GPU上高效并行、甚至分布式运行的训练方法。
叫这个Marketplace这个名字,是因为算法的灵感来源于自由市场机制。作者将神经网络中的每一层(或一组层)视为一个“规格”(Spec),将其中的权重变体视为“供应商”(Vendor)。数据流动就像原材料经过各级供应商加工成最终产品,通过竞争和模仿来优化。
该算法现在还是试验研究阶段,想直接拿来用肯定不行的。

发布于 山东