热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_40947263
你的時間非常值錢
2 年前
trueweixin_40947263

Flextron-Llama2-7B模型家族在MMLU性能上相比开源模型(包括Pythia、OpenLLaMA-v2)和现有的事后压缩方法(包括Sheared-LLaMA、SliceGPT、LLM-Pruner、Compresso、LaCo)表现更为优越。

CSDN App 扫码分享
分享
1
11
  • 复制链接
  • 举报
下一条:
Flextron通过自适应计算优化资源。我们使用类似MoE(专家混合)的架构,将不同的token路由到不同的模型大小,而不是领域专家。论文: https://arxiv.org/pdf/2406.10260
立即登录