热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_41524835
MIT_CSAIL
2 年前
trueweixin_41524835

Co-LLM 给出的回复比独立工作的微调简单 LLM 和未调优的专门模型更准确。Co-LLM 可以指导两种不同训练方式的模型协同工作,而其他有效的 LLM 协作方法(如 "Proxy Tuning")则需要所有组件模型经过类似的训练。

MIT 的算法仅在特定令牌时激活其专家模型,从而实现更高效的生成。

CSDN App 扫码分享
分享
评论
10
  • 复制链接
  • 举报
下一条:
为了展示Co-LLM的灵活性,研究人员使用了像BioASQ医学集这样的数据,将一个基础LLM与不同领域的专家LLM结合使用,比如在未标记医学数据上预训练的Meditron模型。这使得Co-LLM能够帮助回答通常由生物医学专家回答的查询。
立即登录