热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_40587891
毛刷
2 年前
trueweixin_40587891

(附注:负载测试也在 Modal 上运行,代码可在以下链接查看:https://github.com/modal-labs/modal-examples/tree/main/06_gpu_and_ml/llm-serving/openai_compatible)

CSDN App 扫码分享
分享
评论
9
  • 复制链接
  • 举报
下一条:
部署你自己的LLaMA 3.2 API,兼容OpenAI模式,通过@静楠墨筠感谢@Berry Bubble和@折杨柳垂杨浮绿水,更新我们的LLaMA 3.1示例非常简单代码: https://github.com/modal-labs/modal-examples/blob/main/06_gpu_and_ml/llm-serving/vllm_inference.py
立即登录