檢視次數:

配置LiteLLM整合以啟用AI Guard，檢查並保護通過您LiteLLM Proxy的AI應用程式流量，提供跨不同AI供應商和模型的一致安全政策。

AI 應用程式流量通過 LiteLLM Proxy。使用 AI Guard 插件，LiteLLM 將接收到的請求發送至 AI Guard 進行掃描，然後再轉發至目標 LLM 提供者。LLM 提供者的回應也會由 AI Guard 掃描後再返回給請求者。
在配置整合之前，請確認已滿足以下要求：
  • 已安裝並運行 LiteLLM 版本 1.81.0 或更高版本。有關部署選項，請參閱 LiteLLM 文件。
  • AI Guard已啟動，且至少已套用並儲存了一項設定：
  • 您TrendAI Vision One™角色包括「AI 安全」 → 「AI Application Security」 → 「AI Guard」 → 「Call detection API」權限。
    如果不存在具有此權限的角色，請聯繫您的管理員。

步驟

  1. 獲取您的驗證令牌。
    1. 移至「Workflow and Automation → Third-Party Integrations」。
    2. 請點選「LiteLLM」卡片。
    3. 在「Authentication token」下，點擊「產生」並複製令牌。
  2. 獲取您AI Guard部署類型的端點URL。
    • Trend 託管
      1. 移至「Workflow and Automation → Third-Party Integrations」。
      2. 請點選「LiteLLM」卡片。
      3. 複製「Endpoint URL」。
      在您 LiteLLM 部署所在的區域使用 TrendAI Vision One™ 帳戶。對於非美國地區，端點 URL 使用格式 api.<region>.xdr.trendmicro.com，其中 <region> 是以下之一：eu、jp、au、in、sg、mea。
    • 自託管於 Kubernetes
      端點 URL 取決於 LiteLLM 相對於 AI Guard 的運行位置。
      LiteLLM 位置資訊 端點 URL
      與 AI Guard 相同的 Kubernetes 命名空間 http://ai-guard:8080
      同一叢集中的不同命名空間 http://ai-guard.trend-ai-security.svc.cluster.local:8080
      叢集外 您外部入口 URL
      如果您將 AI Guard 部署到自定義命名空間，請將 trend-ai-security 替換為命名空間名稱。
    • 自託管於AWS
      1. 在 AWS 管理控制台中，開啟「AI Guard CloudFormation」 堆疊。
      2. 在「Outputs」標籤頁上，複製「GuardAPIEndpoint」的值。這是您的端點 URL。
  3. 配置並部署 LiteLLM 的 AI Guard 插件。
    準備好您的端點 URL 和驗證令牌後，請按照TrendAI Guard LiteLLM 插件設置指南進行插件安裝、LiteLLM 配置以及部署選項（Docker 和 Helm）。
AI Guard 檢查並保護通過 LiteLLM Proxy 的 AI 應用程式流量。