热门
最新
红包
立Flag
投票
同城
我的
发布
CSDN App 扫码分享
评论
1
打赏
- 复制链接
- 举报
下一条：
Mistral AI推出Mixtral 8x7B：一种改变机器学习的SMoE语言模型 效果堪比GPT-3.5在最新的研究中，Mistral AI 的研究团队推出了一款名为 Mixtral8x7B 的语言模型，该模型基于新的 Sparse Mixture of Experts（SMoE）模型，具有开放权重。该模型被授权使用 Apache2.0许可证，并作为专家混合的稀疏网络仅用作解码器模型。Mistral 通过使用32k token上下文大小的多语言数据进行预训练，表现出色，与Llama270B和GPT-3.5在多个基准测试中相当或更好。其主要优势之一是有效利用参数，允许在小批量大小时更快的推理时间，并在大批量大小时提高吞吐量。Mixtral 在包括多语言理解、代码生成和数学等测试中，明显优于Llama270B。实验证明，Mixtral能够有效地从其32k令牌的上下文窗口中恢复数据，无论数据在序列中的长度和位置如何。在0-shot环境中，对常识推理任务进行了评估，包括ARC-Easy、ARC-Challenge、Hellaswag、Winogrande、PIQA、SIQA、OpenbookQA和CommonsenseQA。在5-shot格式中，对世界知识任务进行了评估，包括TriviaQA和NaturalQuestions。阅读理解任务BoolQ和QuAC在0-shot环境中进行评估。数学任务包括GSM8K和MATH，而与代码相关的任务包括Humaneval和MBPP。研究还包括了对AGI Eval、BBH和MMLU的流行的综合发现。研究还展示了 Mixtral8x7B – Instruct，这是一个专为指令优化的对话模型。在过程中使用了直接偏好优化和监督微调。在人工评估基准中，Mixtral – Instruct在与GPT-3.5Turbo、Claude-2.1、Gemini Pro和Llama270B – 聊天模型的比较中表现更好。类似BBQ和BOLD的基准显示出更少的偏见和更平衡的情感配置。论文网址:https://arxiv.org/abs/2401.04088代码:https://github.com/mistralai/mistral-src
