原来如此。RAG 会找到与问题最相关的文档，而 Mixture of Memory Experts (MoME) 会找到与问题最相关的 LoRA 并进行装配推理。事先会制作各种领域的知识专家 LoRA。我也觉得相比 MoE，每个问题都更换类似 LoRA 的适配器更省内存。