Jamba（不是果汁🥤）是transformer和专家混合体系架构的新型融合体。Jamba结合了这两种世界的最佳特性，拥有较高的上下文长度，同时保持小巧和高效：https://arxiv.org/abs/2403.19887v1
