训练一个像Llama 3.1 405B这样大而强大的模型并不是一件简单的任务。该模型在几个月的时间里使用了超过15万亿个标记进行训练，耗用了超过16,000块@麻纪 H100 GPU，使其成为有史以来第一个在如此规模上进行训练的Llama模型。

我们还使用了405B参数模型来提高较小模型的训练后质量。