我们介绍了GaLore,这是一种新的参数高效训练⚙️技术,在准确性上优于LoRA,并支持预训练和微调。你甚至可以在一块24GB GPU(NVIDIA RTX 4090)上从零开始预训练一个LLaMA-7B。📺 https://youtu.be/VC9NbOir7q0