Adam+余弦/线性调度器刚刚被淘汰了吗？Meta 的超酷工作：“The Road Less Scheduled”引入了无调度优化器。从结果来看，它具有更平滑的收敛特性，同时不占用更多的内存，调整时也不那么难，超参数更稳定！似乎在所有最新的状态下，如余弦/线性衰减等，都表现优异。还没有深入研究数学原理，但看起来很有前途，我会尽快试用并反馈。论文：https://arxiv.org/abs/2405.15682代码：https://github.com/facebookresearch/schedule_free
