很高兴看到 @爱好代码的码农 FSDP 准备投入生产!我特别期待对多个优化器参数组的支持以及 use_original_params 标志的使用!这是来自 PyTorch 团队的 Rohan Varma 的精彩视频:https://www.youtube.com/watch?v=sz5HqCr046Q