热门

最新

红包

立Flag

投票

同城

发布
weixin_41456383
_willfalcon
1 年前
trueweixin_41456383

批处理是加速模型服务的一种简单方法。使用LitServe可以轻松地在FastAPI服务器中添加批处理 🚀🚀🚀

批处理将请求分组，并一次性通过服务器运行，而不是依次处理。

https://github.com/Lightning-AI/litserve

评论
8
  • 复制链接
  • 举报
下一条：