DataComp-LM：寻找新一代语言模型训练集-提供了一个-CSDN blink-领先的开发者技术社区

热门

最新

红包

立Flag

投票

同城

我的

发布

1 年前

truetechsavvyarankomatsuzaki

DataComp-LM：寻找新一代语言模型训练集

- 提供了一个来自Common Crawl的240T令牌语料库
- 使用他们过滤后的数据集训练一个语言模型，在自然语言理解任务上的表现相似，但计算量比Llama 3 8B少6.6倍

项目链接：https://www.datacomp.ai/dclm/
摘要链接：https://arxiv.org/abs/2406.11794

CSDN App 扫码分享

分享

评论

11

复制链接
举报

下一条：

BAIR发布LLARVA：视觉-动作指令调优增强机器人学习项目：https://llarva24.github.io/摘要：https://arxiv.org/abs/2406.11815