ATorch 是一个 PyTorch 的扩展库,用于促进高效的模型训练体验。能够支持具有百亿参数和数千个 GPU 的大规模预训练,ATorch 使 GPU 利用率高达 60%。 https://github.com/intelligent-machine-learning/dlrover/tree/master/atorch