它还支持模型并行训练和推理，因此您可以轻松使用具有100亿、200亿或1000亿参数的大型模型。它让您可以非常细致地控制如何在设备之间分片您的权重和中间激活。