AI21 Labs 推出的 Jamba 是一款新型的开放大型语言模型(LLM),它采用了融合 Mamba SSM 和 Transformer 元素的混合架构,在内存占用、吞吐量以及处理长上下文方面相比于纯 Transformer 或 SSM 模型有显著提升。https://gradientflow.com/ai21labs-jamba/