Flextron通过自适应计算优化资源。我们使用类似MoE(专家混合)的架构,将不同的token路由到不同的模型大小,而不是领域专家。论文: https://arxiv.org/pdf/2406.10260