热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_34677764
影小白养成记
2 年前
trueweixin_34677764

Llama3 V 还未发布。由于交叉注意力架构,它的规模预计会显著增大(12.5B 对比我们的 8.5B)。

一些重叠的基准测试,他们和我们相比:
MMMU: +3(0-shot CoT 而我们是 0-shot)
DocVQA: -3.3
TextVQA: +3.3

CSDN App 扫码分享
分享
评论
9
  • 复制链接
  • 举报
下一条:
一篇由两位先驱Martin Cassado和Ion Stoica撰写的关于开源AI的精彩经济学人文章。(还有一张不错的人工生成的图画)。我从他们的经济学人文章中得到的主要观点:1. “监管伤害创新”:我同意这一点,我担心尽管欧洲有良好的意图,但在这一点上可能走错方向。2. “开源使系统更安全”:我同意这一点,我还想补充一点,开源系统更健壮且更模块化。3. “开源推动创新”:我完全同意。我想补充的一点是:开源权重(如Llama)非常棒,但它并不是开源的。我们应该把开源权重看作是Linux有开放但混淆的代码。确实,你可以运行它,但你不能持续训练它来执行其他任务。此外,许可证可能有奇怪的限制,比如所有微调后的模型必须有Llama在其名称中?然而,真正的秘密在于训练数据。因此,开源LLMs应该附带训练数据、预训练代码和中间检查点。这就是为什么我们创建了DCLM 7B模型和DCLM数据集。
立即登录