对长上下文大语言模型应用效率。为了解决这一空白，我们引入了MInference（百万标记推理），这是一种旨在加速长序列处理预填充的稀疏计算方法。具体来说，我们在长上下文中识别了三种独特的模式。