热门
最新
红包
立Flag
投票
同城
我的
发布
程序员面经&内推
CSDN App 扫码分享
评论
点赞
打赏
- 复制链接
- 举报
下一条:
llama-deploy 是一个在生产基础设施上部署你的代理的秘籍。用纯 Python 编写代码,然后只需几行代码即可将其作为服务部署——无论是本地还是在 Kubernetes 上🔥你的代理被表示为事件驱动的工作流,可以混合使用 LLM 和普通函数调用。Llama-deploy 自动将它们转换为容错的微服务,能够处理大量的客户端请求。不相信我们?来看一下。非常感谢 @文成厚 和 @sun海涛 整个仓库的贡献。从这里开始: https://docs.llamaindex.ai/en/stable/module_guides/workflow/deployment/然后查看如何在 RabbitMQ 和 k8s 等生产基础设施上运行: https://github.com/run-llama/llama_deploy/tree/main/examples/message-queue-integrations