Ansichten:

KI-Proxy ist ein Reverse-Proxy, der es Ihnen ermöglicht, mehrere Large Language Model (LLM)-Dienste mit verschiedenen API-Protokollen zu nutzen.

Sie können einen KI-Anwendungsdienst hosten, der mit mehreren selbst gehosteten und offenen LLMs interagiert, die unterschiedliche Protokolle/Modelle haben. Sie können ein lokales Gateway als KI-Proxy zwischen Ihrer privaten KI-Anwendung und diesen mehreren LLM-Profilen hinzufügen, um Ihre private KI-Anwendung oder die von Ihnen gehosteten LLMs durch die KI-Dienstzugriffsregel mit fortschrittlicher Inhaltsinspektion zu sichern.
Der KI-Proxy-Modus ermöglicht es Ihnen, Zugriffs- und Ratenbegrenzungsregeln für KI-Dienste speziell für die geschützten privaten generativen KI-Dienste zu erstellen und anzuwenden. Das lokale Gateway empfängt Anfragen an Ihren privaten generativen KI-Dienst und kann den erweiterten Content-Filter anwenden, Prompt-Injektionen verhindern und potenzielle Denial-of-Service-Angriffe mit Ratenbegrenzungsregeln stoppen. Die inspizierten Anfragen können an einzelne LLM-Dienste weitergeleitet werden, basierend auf den gegebenen LLM-Profilen auf diesem lokalen Gateway. Nachdem die LLM-Dienste Antworten an den KI-Proxy zurückgesendet haben, kann erneut ein Content-Filter angewendet werden, bevor die Antworten an Ihre private generative KI-Anwendung und dann an Endpunkte oder Endbenutzer zurückgesendet werden
Sie können die Zugriffskontrolle basierend auf dem Benutzer mithilfe der Option X-Authenticated-User festlegen. Standardmäßig ist die Option X-Authenticated-User nicht aktiviert, und ein lokales Gateway im KI-Proxy-Modus kann nur IP-basierte KI-Dienstzugriffsregeln anwenden.
Um diese Option zu verwenden, muss ein X-Authenticated-User-Header von einer nachgelagerten App eingefügt werden, die vor dem lokalen Gateway bereitgestellt wird. Der Wert dieses X-Authenticated-User ist die UPN-Information des Endbenutzers. Diese UPN muss mit dem Benutzer/der Gruppe verknüpft sein, die zur Erstellung der benutzerbasierten KI-Dienstzugriffsregel verwendet wurde. Das Format des Headers ist:
X-Authentifizierter-Benutzer: example@domain.com
Wenn diese Option aktiviert ist, aber die nachgelagerte App den Header nicht in den weitergeleiteten Datenverkehr einfügt, wendet das lokale Gateway jede benutzer- oder IP-basierte KI-Dienstzugriffsregel für diesen Datenverkehr an.
ai_proxy_arch=71a8576a-4080-4f1d-a41b-64c0ec341536.png
Wichtig
Wichtig
  • Um den KI-Proxy-Modus auf einem lokalen Gateway zu aktivieren, müssen sowohl das entsprechende Service-Gateway als auch der Internetzugang-Lokales-Gateway-Dienst auf die neueste Version aktualisiert werden.
  • Wenn Sie den KI-Proxy-Modus verwenden, um einen generativen KI-Dienst zu schützen, müssen Sie den Server, der Anfragen von Endpunkten empfängt, so konfigurieren, dass er Endpunkt-IP-Adressen zum X-Forwarded-For-Feld im Anfrage-Header hinzufügt. Andernfalls kann das lokale Gateway die Endpunkte nicht identifizieren und keine Zugriffskontrolle oder Funktionen zur Ratenbegrenzung durchführen.

Erstellen Sie die LLM-Profile Übergeordnetes Thema

Bevor Sie den KI-Proxy zu Ihren Gateways hinzufügen können, müssen Sie ein Profil für jedes LLM erstellen, mit dem Sie interagieren werden.

Prozedur

  1. Gehen Sie zu Zero Trust Secure Access → Secure Access Configuration → Internet Access and AI Service Access Configuration und entweder einen neuen lokalen Gateway bereitstellen oder klicken Sie auf das Bearbeitungssymbol (modify_connector=d7163417-a1d8-4a5a-8e4b-a8babe128751.jpg) neben einem bestehenden lokalen Gateway.
  2. Wählen Sie im Einstellungen-Menü der Registerkarte Gateways die Option AI proxy aus.
    Die Seite mit den LLM-Profilen wird geöffnet.
  3. Klicken Sie auf Create profile.
  4. Geben Sie den Namen des Profils ein.
  5. Geben Sie eine Beschreibung des Profils an. Obwohl nicht notwendig, kann dies nützlich sein, insbesondere wenn Sie mehrere Versionen des LLM haben.
  6. Wählen Sie den LLM-Anbieter aus.
  7. Einstellungen für das LLM konfigurieren.
  8. Klicken Sie auf Save.
  9. Wiederholen Sie die Schritte 3 bis 8 für jedes Profil, das Sie hinzufügen möchten.

Fügen Sie den KI-Proxy zu einem lokalen Gateway hinzu Übergeordnetes Thema

Sobald Sie Ihre LLM-Profile erstellt haben, können Sie Ihren KI-Proxy erstellen und ihn zu den Gateways hinzufügen.

Prozedur

  1. Klicken Sie im Internet Access and AI Service Access Configuration → Gateways auf das Bearbeitungssymbol (modify_connector=d7163417-a1d8-4a5a-8e4b-a8babe128751.jpg) für das Gateway, das Sie mit dem KI-Proxy verwenden möchten.
  2. Wählen Sie in Erweiterte Einstellungen AI proxy als Service mode aus.
    Der standardmäßige HTTP-Abhörport ist 8088.
  3. Bei Bedarf HTTPS-Abhören aktivieren.
    Der standardmäßige HTTPS-Abhörport ist 8443.
    Für HTTPS-Anfragen wählen Sie, ob das standardmäßige SSL-Zertifikat verwendet oder ein benutzerdefiniertes Zertifikat mit privatem Schlüssel und Passphrase bereitgestellt werden soll.
  4. Geben Sie den Protected app name ein.
  5. Bei Bedarf können Sie X-Authentifizierte Benutzer verwenden.
    Hinweis
    Hinweis
    Dies erfordert eine KI-Dienstregel. Weitere Informationen finden Sie unter Erstellen einer KI-Dienstzugriffsregel.
  6. Klicken Sie auf Manage profiles.
  7. Wählen Sie die LLM-Profile aus, die Sie im KI-Proxy anwenden möchten.
  8. Klicken Sie auf Übernehmen.
  9. Wenn gewünscht, können Sie die Konnektivität der Profile testen, indem Sie auf das Konnektivitätssymbol klicken. Die Konnektivität der ausgewählten Profile, die nicht getestet wurden, wird jedoch automatisch getestet, wenn Sie auf Speichern klicken.
  10. Klicken Sie auf Save.
    Das Gateway ist gespeichert, und der Servicemodus ist KI-Proxy.