热门

最新

红包

立Flag

投票

同城

发布
weixin_41279428
耳科赵医生
2 年前
trueweixin_41279428

【🚀 介绍 Flextron - 一个多合一的大型语言模型 - 在 ICML 上进行口头报告！

训练一个模型，并在推理时为每个 GPU 获得多个最佳模型，无需额外的重新训练。 🌟

🔗 论文: https://arxiv.org/abs/2406.10260

仅需5%的训练后微调即可获得的主要优势：
✅ 无需重新训练即可为每个 GPU（小型和大型）提供最佳模型
✅ 根据负载动态改变推理成本
✅ 输入自适应推理（异构权重共享 MoE，Attention）
✅ 与训练多个模型不同，我们只训练一个：LLaMa2-7B ➡️ 3B, 4B, 5B, 6B 等

方法详见评论区。🧵👇】

评论
11
  • 复制链接
  • 举报
下一条：
Flextron-Llama2-7B模型家族在MMLU性能上相比开源模型（包括Pythia、OpenLLaMA-v2）和现有的事后压缩方法（包括Sheared-LLaMA、SliceGPT、LLM-Pruner、Compresso、LaCo）表现更为优越。