🤖 本周发布的内容：一篇关于如何使用 PyTorch Distributed 和 MegaBlocks 扩展到超过 3000 个 GPU 的博客文章，MegaBlocks 是一个高效的 PyTorch 开源 MoE 实现。https://pytorch.org/blog/training-moes/
