热门

最新

红包

立Flag

投票

同城

发布
weixin_34304538
永生花园艺 互互
1 年前
trueweixin_34304538

新的ORPO Colab针对Llama-3 8b已发布！ORPO将SFT和DPO合并为一个步骤，因此不再需要两步骤方法！

此外，通过@走丢了猫，微调速度提升了2倍，使用的VRAM减少了80%，同时支持的上下文长度增加了4倍！感谢oKatanaaa和At&Dev让这成为可能！
https://colab.research.google.com/drive/11t4njE3c4Lxl-07OD8lJSMKkfyJml3Tn?usp=sharing

评论
9
  • 复制链接
  • 举报
下一条：
Phi 3（3.8B）版本发布了！论文中说这只是一个Llama架构，但在我将其添加到@走丢了猫时我发现了一些特点：1. 滑动窗口2047？Mistral v1 是4096。那么Phi mini有滑动窗口算法吗？（还有奇数是什么意思？）最大RoPE位置是4096？2. 升级过的RoPE？像Gemma一样？3. 为128K上下文长度动态RoPE4. 融合了MLP和QKV - 需要分离5. MMLU评估在Phi团队和Llama-3团队之间非常不同 - 为什么？