Ansichten:

Konfigurieren Sie die LiteLLM-Integration, um den KI Guard zu aktivieren, der den KI-Anwendungsverkehr überprüft und schützt, der durch Ihren LiteLLM-Proxy fließt, und konsistente Sicherheitsrichtlinien über verschiedene KI-Anbieter und Modelle hinweg bereitstellt.

Der KI-Anwendungsverkehr fließt durch den LiteLLM-Proxy. Mit dem KI Guard-Plugin sendet LiteLLM eingehende Anfragen zur Überprüfung an KI Guard, bevor sie an den Ziel-LLM-Anbieter weitergeleitet werden. Auch die Antworten des LLM-Anbieters werden von KI Guard überprüft, bevor sie an den Anfragenden zurückgesendet werden.
Bevor Sie die Integration konfigurieren, vergewissern Sie sich, dass die folgenden Anforderungen erfüllt sind:
  • LiteLLM Version 1.81.0 oder später ist installiert und läuft. Für Bereitstellungsoptionen siehe die LiteLLM-Dokumentation.
  • KI-Schutz ist aktiviert und mindestens eine Konfiguration wurde angewendet und gespeichert:
  • Ihre TrendAI Vision One™-Rolle umfasst die Berechtigung AI Security → AI Application Security → AI Guard → Call detection API.
    Wenn eine Rolle mit dieser Berechtigung nicht existiert, wenden Sie sich an Ihren Administrator.

Prozedur

  1. Authentifizierungstoken abrufen.
    1. Navigieren Sie zu Workflow and Automation → Third-Party Integrations.
    2. Klicken Sie auf die Karte LiteLLM.
    3. Unter Authentication token klicken Sie auf Erstellen und kopieren Sie das Token.
  2. Erhalten Sie die Endpunkt-URL für Ihren KI Guard-Bereitstellungstyp.
    • Trend-gehostet
      1. Navigieren Sie zu Workflow and Automation → Third-Party Integrations.
      2. Klicken Sie auf die Karte LiteLLM.
      3. Kopieren Sie den Endpoint URL.
      Verwenden Sie ein TrendAI Vision One™-Konto in der Region, in der Ihre LiteLLM-Bereitstellung erfolgt. Für Regionen außerhalb der USA verwendet die Endpunkt-URL das Format api.<region>.xdr.trendmicro.com, wobei <region> eine der folgenden ist: eu, jp, au, in, sg, mea.
    • Selbst gehostet auf Kubernetes
      Die Endpunkt-URL hängt davon ab, wo LiteLLM im Verhältnis zu KI Guard läuft.
      LiteLLM Standort Endpunkt-URL
      Gleicher Kubernetes-Namespace wie KI Guard http://ai-guard:8080
      Verschiedene Namensräume im selben Cluster http://ai-guard.trend-ai-security.svc.cluster.local:8080
      Außerhalb des Clusters Ihre externe Ingress-URL
      Ersetzen Sie trend-ai-security durch den Namespace-Namen, wenn Sie KI Guard in einem benutzerdefinierten Namespace bereitgestellt haben.
    • Selbst gehostet auf AWS
      1. Öffnen Sie im AWS-Managementkonsole den AI Guard CloudFormation-Stack.
      2. Auf der Outputs-Registerkarte kopieren Sie den Wert von GuardAPIEndpoint. Dies ist Ihre Endpunkt-URL.
  3. Konfigurieren und implementieren Sie das KI Guard-Plugin für LiteLLM.
    Mit Ihrer Endpunkt-URL und Ihrem Authentifizierungstoken folgen Sie dem TrendAI Guard LiteLLM Plugin-Setup-Leitfaden für die Plugin-Installation, LiteLLM-Konfiguration und Bereitstellungsoptionen (Docker und Helm).
KI Guard inspiziert und schützt den KI-Anwendungsverkehr, der den LiteLLM-Proxy durchläuft.