Snowflake AI Research 正在发布对大规模语言模型(如 Llama 3.1 405B)进行有限资源微调的优化,使其更易于更广泛的AI社区使用。我们的优化栈可以在两台8 x H100-80GB节点上,仅用4小时微调Llama 3.1 405B处理超过2000万个token,在单个节点上则大约需要24小时。