热门
最新
红包
立Flag
投票
同城
我的
发布
加州大学伯克利分校和Anyscale的研究人员介绍了RouteLLM:一个具有成本效益的LLM路由开源框架
RouteLLM正式化了LLM路由问题,并探索了增强技术以提高路由器性能。该框架使用来自Chatbot Arena的公共数据,并结合了新颖的训练方法。训练了四种不同的路由器:
✅ 类似度加权(SW)排名路由器:基于相似性执行“加权Elo计算”。
✅ 矩阵分解模型:学习模型回答提示的评分函数。
✅ BERT分类器:预测哪个模型能提供更好的响应。
✅ 因果LLM分类器:也预测哪个模型能提供更好的响应。
快速阅读:https://www.marktechpost.com/2024/07/01/researchers-from-uc-berkeley-and-anyscale-introduce-routellm-an-open-source-framework-for-cost-effective-llm-routing/
论文:https://arxiv.org/abs/2406.18665
GitHub:https://github.com/anyscale/llm-router
详情:https://www.anyscale.com/blog/building-an-llm-router-for-high-quality-and-cost-effective-responses
@鱼欲与余 @卿无讳
CSDN App 扫码分享
评论
10
- 复制链接
- 举报