热门

最新

红包

立Flag

投票

同城

发布
devlightningai
LightningAI
1 年前
truedevlightningai

令人难以置信的是，使用LitServe将开源LLM作为兼容OpenAI的服务器进行服务是多么容易。你可以获得：
✅ 流式传输
✅ 认证
✅ 批处理
...以及更多开箱即用的功能🔥
查看详情➡️ https://github.com/Lightning-AI/litserve

评论
12
  • 复制链接
  • 举报
下一条：