热门

最新

红包

立Flag

投票

同城

发布
universsky2015
AI天才研究院 人工智能领域优质创作者
2 年前
trueuniverssky2015

Llama 2 的训练语料库包含了来自公开可用资源的混合数据，并且不包括 Meta 产品或服务相关的数据。Llama 2 采用了 Llama 1 中的大部分预训练设置和模型架构，包括标准 Transformer 架构、使用 RMSNorm 的预归一化、SwiGLU 激活函数和旋转位置嵌入。在超参数方面，Meta 使用 AdamW 优化器进行训练，其中 β_1 = 0.9，β_2 = 0.95，eps = 10^−5。同时使用余弦学习率计划（预热 2000 步），并将最终学习率衰减到了峰值学习率的 10%。

@AI天才研究院：llama2 开源700 亿参数模型，推动社区开放进程相比 LLaMA-1，LLaMA-2 将模型尺寸提升到了 700 亿参数，搭配更海量的训练数据，LLaMA-2(70B) 获得了客观的性能提升，在多个评测集上达到了和 ChatGPT 近似的性能。论文也提供了 LLaMA-2(70B) 与闭源模型（GPT-3.5，GPT-4，PaLM, PaLM-2）的性能对比，ChatGPT 在 MMLU 上获得了 70.0 的分数，与 LLaMA-2(70B) 的 68.9 的分数相差无几。相信在社区的努力下，开源模型离 ChatGPT 的水平会越来越近。https://mp.weixin.qq.com/s/Eqh-ED4BgiR4BBQQbwXAmA

…全文
评论
点赞
打赏
  • 复制链接
  • 举报
下一条：
上班了哦