如果可以使用世界上所有的算力来训练AI模型，会怎么样？

近日，凭借发布了开源的Hermes 3（基于Llama 3.1）而引起广泛关注的Nous Research，再次宣布了一项重大突破——DisTrO（分布式互联网训练）。

通过使用与架构和网络无关的分布式优化器，研究人员成功将训练LLM时GPU间的通信量降低了1000到10000倍！

在如此夸张的改进之下，大模型训练的重要成本和瓶颈——带宽，也就不再是问题。

使用DisTrO的方法，你可以将训练负载分布到互联网上，而整个网络世界也就成为了一个巨大的异构的AI服务器集群。

——任何有相关算力的设备都可以参与到训练过程之中。
初步技术报告：http://t.cn/A6RnOwYK