构建一个生产就绪的RAG服务器 ⚙️

在构建生产级RAG中一个被低估的挑战是将其部署以处理实时流量。你如何构建一个服务器API，它能够高效地服务于嵌入式处理，处理多个并发用户请求，并且能够抵御故障？

这篇由Marco Bertelli撰写的文章是我们见过的第一篇处理这个话题的文章：
✅ 将Heroku设置为部署平台
✅💡通过使用@Nuyouy的FastEmbed来绕过Heroku的大小限制，来提供嵌入式模型服务！不需要重型的PyTorch依赖，而是使用ONNX运行时
✅ 用Github动作设置一个CI/CD流水线
✅ 在Gunicorn服务器上配置工作进程

完整文章在这里（非付费墙）：https://python.plainenglish.io/deploying-a-production-ready-rag-server-a-comprehensive-guide-with-llamaindex-dbe57cc960df