xAI 发布 Grok-1

博客： x.ai/blog/grok-os
代码： github.com/xai-org/grok

基础模型基于大量文本数据进行训练，未针对任何特定任务进行微调。

314B 参数混合专家模型，其中 25% 的权重在给定代币上处于活动状态。

xAI 于 2023 年 10 月使用基于 JAX 和 Rust 的自定义训练堆栈从头开始训练。