为了将@云端~的Llama-3模型的上下文窗口增加到400万，我们所做的一些事情包括增加RoPE theta并加入完整上下文长度的监督式微调。跟随我们一起深入了解一些学习成果：🔗 https://gradient.ai/blog/scaling-rotational-embeddings-for-long-context-language-models✅ 位置编码的局限性✅ 适应更长上下文长度的RoPE的方法✅ 随着上下文长度增加的RoPE Theta的扩展规律