热门

最新

红包

立Flag

投票

同城

发布
weixin_36989692
openuk_uk
2 年前
trueweixin_36989692

他做到了 - @温柔只给子峰 在Apache 2.0开源许可下发布了Grok LLM的权重和架构。它与Meta的Llama 2 70亿参数模型以及OpenAI的GPT-3.5相媲美，但采用Apache 2.0许可，没有类似的商业限制。https://x.ai/blog/grok-os

评论
7
  • 复制链接
  • 举报
下一条：
恭喜 @优米妈 和 @温柔只给子峰 公开发布源代码 🫡Grok-1 速查表 📝- 总计 3140 亿参数的 MoE（混合专家）架构- 8位专家，其中2位活跃- Apache 2.0 许可- 在 JAX 和 Rust 上进行训练- 训练完成于 2023 年 10 月- 基础模型，没有针对特定任务的微调- 没有提供训练数据集的信息在这个大小下，很难在消费级硬件上运行推理/微调，但我们会随着人们开始研究量化并测试模型，继续在这个话题中更新信息 👀