LLM 的分布式训练取得了重大进展。

P2P 去中心化的模型训练可能是未来解决模型算力缺口的一个重要方向。

Prime Intellect 发布了支持全球范围内的 AI 模型分布式训练框架 OpenDiLoCo。

他们利用这个框架进行了一个实验，在三个国家之间训练了一个模型。

计算资源利用率达到了90-95%，并将其扩展到原始工作规模的三倍，证明了其对十亿参数模型的有效性。

这个框架基于 Google Deepmind 的分布式低通信 (DiLoCo) 方法。

OpenDiLoCo 的特点包括：计算资源的动态调整、容错训练、点对点架构：没有主节点。

由于 DiLoCo 减少了通信时间，全归约瓶颈仅占训练时间的 6.9%，对整体训练速度的影响微乎其微。