热门

最新

红包

立Flag

投票

同城

发布
devhaoliu
刘haohao
1 年前
truedevhaoliu

我们开源了一系列具有70亿参数的模型，这些模型能够处理超过100万令牌的长文本文件（LWM-Text, LWM-Text-Chat）和视频（LWM, LWM-Chat），并且提供了用于训练和推理的代码库。这些模型可以在 https://huggingface.co/LargeWorldModel 上找到。

评论
62
  • 复制链接
  • 举报
下一条：
这项工作提供了一个高度优化的开源实现，它包括RingAttention、掩码序列打包、模型生成的问答以及其他针对百万长度视觉-语言训练的关键特性。即使在非常大的上下文尺寸下，我们也有很好的MFUs（内存访问单位）。