热门

最新

红包

立Flag

投票

同城

发布
weixin_40646978
有事跑完步说
2 年前
trueweixin_40646978

恭喜 @优米妈 和 @温柔只给子峰 公开发布源代码 🫡

Grok-1 速查表 📝
- 总计 3140 亿参数的 MoE（混合专家）架构
- 8位专家，其中2位活跃
- Apache 2.0 许可
- 在 JAX 和 Rust 上进行训练
- 训练完成于 2023 年 10 月
- 基础模型，没有针对特定任务的微调
- 没有提供训练数据集的信息

在这个大小下，很难在消费级硬件上运行推理/微调，但我们会随着人们开始研究量化并测试模型，继续在这个话题中更新信息 👀

1
19
  • 复制链接
  • 举报
下一条：
微调LLaMA-2-Chat模型可能会降低其原有能力（https://arxiv.org/abs/2401.03129）。但这里有一个解决方法：Chat Vector（https://arxiv.org/abs/2310.04799）可以保留聊天模型的原始能力（它也适用于Mistral）。推荐给所有想要微调他们的大型语言模型（LLMs）的人。