Portkey AI 开源 AI 护栏框架以增强实时 LLM 验证，确保安全、合规和可靠的 AI 操作
在 Portkey AI 中，Gateway 框架被一个重要组件 Guardrails 取代，该组件安装以使与大型语言模型的交互更加可靠和安全。具体而言，Guardrails 可以确保请求和响应按照预定义的标准进行格式化，从而减少与可变或有害 LLM 输出相关的风险。
另一方面，Portkey AI 提供了一个集成的、完全护栏化的平台，该平台实时工作以确保 LLM 在任何时候的行为都通过所有规定的检查。这很重要，因为 LLM 本质上是脆弱的，常常在最意想不到的方式中失败。传统的失败可能通过 API 停机或无法解释的错误代码（如 400 或 500）表现出来。更隐蔽的是响应带有 200 状态码仍然破坏应用程序工作流的失败，因为输出不匹配或错误。Gateway 框架上的 Guardrails 旨在应对输入和输出验证的挑战，依据预定义的检查。
Guardrail 系统包括一套预定义的正则表达式匹配、JSON 架构验证和在 SQL、Python 和 TypeScript 等语言中的代码检测。除了这些确定性检查外，Portkey AI 还支持基于 LLM 的 Guardrails，可以检测无意义的内容或扫描提示注入，从而防止更隐蔽类型的失败。目前支持超过 20 种 Guardrail 检查，每种检查可根据需要进行配置。它可以与任何 Guardrail 平台集成，包括 Aporia、SydeLabs 和 Pillar Security。通过添加 API 密钥，用户可以在其 Portkey 调用中包含这些其他平台的策略。
阅读全文请访问: https://www.marktechpost.com/2024/08/16/portkey-ai-open-sourced-ai-guardrails-framework-to-enhance-real-time-llm-validation-ensuring-secure-compliant-and-reliable-ai-operations/
GitHub: https://github.com/Portkey-AI/gateway/wiki/Guardrails-on-the-Gateway-Framework
Documentation: https://docs.portkey.ai/docs/product/guardrails
@Fred Camille @山羊也爱吃草莓
- 复制链接
- 举报
