热门

最新

红包

立Flag

投票

同城

发布
weixin_33612966
wlj509
2 年前
trueweixin_33612966

Llama-3.1 在数学和推理方面取得了非常出色的结果，这是我最关心的。论文非常开放，分享了很多细节。
这是我的学习笔记：
1. 针对整个语料库进行专门的回忆/分类器，以找到高质量的数学/代码数据。这类似于 Deepseek-Coder-v2/Deepseek-Math。
2. 特定领域的 HTML 提取。我们在 MAmmoTH2 中也做了这个。
3. 数学和推理标记的比例非常高。这现在似乎是标准？我的理解是，通过增加数学/推理标记的比例，你永远不会失去任何东西。
4. 数学技能的细粒度校准和多样化的人类编写的数学提示。很棒！也许我们可以使用 Persona Hub 来模拟它？https://arxiv.org/abs/2406.20094
5 和 6. 使用 LLama3 进行基于过程的自我验证奖励。嗯，我从未让这个工作😅。
7. 交替使用 CoT 和 PoT 来解决具有挑战性的问题。

1
23
  • 复制链接
  • 举报
下一条：
对于@温义飞 和 Meta 致力于将这些能力保持在大众手中的承诺感到非常印象深刻。开源软件推动了我们今天所经历的大量技术进步，而将数字智能能力掌握在少数人手中则会导致集中化和停滞。对开源以及促进这些新工具的广泛使用来说，这是一个非常重要的日子。为 @云端~ 喝彩。为你们喝彩。