ビュー:

AIプロキシは、異なるAPIプロトコルを使用して複数の大規模言語モデル (LLM) サービスを利用できるリバースプロキシです。

さまざまなプロトコル/モデルを持つ複数のセルフホストおよびオープンなLLMと連携するAIアプリケーションサービスをホストすることができます。プライベートAIアプリケーションと複数のLLMプロファイルの間にオンプレミスゲートウェイをAIプロキシとして追加し、AIのSecure Access Ruleと高度なコンテンツ検査によってプライベートAIアプリケーションまたはホストしているLLMを保護することができます。
AIプロキシモードでは、保護されたプライベート生成AIサービス専用のAIセキュアアクセスおよびレート制限ルールを作成して適用できます。オンプレミスゲートウェイはプライベート生成AIサービスへのリクエストを受信し、高度なコンテンツフィルタリングを適用し、プロンプトインジェクションを防ぎ、レート制限ルールで潜在的なサービス拒否攻撃を阻止できます。検査されたリクエストは、オンプレミスゲートウェイ上の指定されたLLMプロファイルに基づいて個々のLLMサービスに中継され、LLMサービスがAIプロキシに応答を返した後、再度コンテンツフィルタリングを適用してからプライベート生成AIアプリケーションに応答を返し、エンドポイントまたはエンドユーザに届けます
X-Authenticated-Userオプションを使用して、ユーザに基づいたアクセス制御を設定できます。デフォルトでは、X-Authenticated-Userオプションは有効になっておらず、オンプレミスゲートウェイがAIプロキシモードの場合、IPベースのAI Secure Access Rulesのみを適用できます。
このオプションを使用するには、オンプレミスゲートウェイの前に展開された下流アプリによってX-Authenticated-Userヘッダーを挿入する必要があります。このX-Authenticated-Userの値はエンドユーザのUPN情報です。このUPNは、ユーザベースのAI Secure Access Ruleを作成するために使用されるユーザ/グループに関連付けられている必要があります。ヘッダーの形式は:
X-Authenticated-User: example@domain.com
このオプションが有効になっているが、下流のアプリが転送トラフィックにヘッダーを挿入しない場合、オンプレミスゲートウェイはそのようなトラフィックに対してユーザまたはIPベースのAI Secure Access Ruleを適用します。
ai_proxy_arch=71a8576a-4080-4f1d-a41b-64c0ec341536.png
重要
重要
  • オンプレミスゲートウェイでAIプロキシモードを有効にするには、対応するService Gatewayとインターネットアクセスオンプレミスゲートウェイサービスの両方を最新バージョンに更新する必要があります。
  • 生成AIサービスを保護するためにAIプロキシモードを使用している場合、エンドポイントからのリクエストを受信するサーバを設定し、リクエストヘッダーのX-Forwarded-ForフィールドにエンドポイントのIPアドレスを追加する必要があります。そうしないと、オンプレミスゲートウェイがエンドポイントを識別してアクセス制御やレート制限機能を実行することができません。

LLMプロファイルを作成 親トピック

ゲートウェイにAIプロキシを追加する前に、やり取りする各LLMのプロファイルを作成する必要があります。

手順

  1. Zero Trust Secure Access → Secure Access Configuration → インターネットアクセスとAI Secure Access Configurationに移動し、新しいオンプレミスゲートウェイを展開するか、既存のオンプレミスゲートウェイに対応する編集アイコン (modify_connector=d7163417-a1d8-4a5a-8e4b-a8babe128751.jpg) をクリックします。
  2. [ゲートウェイ] タブで、[設定] メニューから [AIプロキシ] を選択します。
    LLMプロファイルページが開きます。
  3. [プロファイルを作成]をクリックします。
  4. プロファイルの名前を入力してください。
  5. プロファイルの説明を提供してください。必須ではありませんが、特に複数のバージョンのLLMを持っている場合には役立ちます。
  6. LLMプロバイダを選択してください。
  7. LLMの設定を行います。
  8. [保存] をクリックします。
  9. 追加したい各プロファイルに対して手順3から8を繰り返します。

AIプロキシをオンプレミスゲートウェイに追加する 親トピック

LLMプロファイルを作成したら、AIプロキシを作成し、ゲートウェイに追加できます。

手順

  1. [インターネットアクセスとAI Secure Access Configuration] → [ゲートウェイ]で、AIプロキシを使用したいゲートウェイの編集アイコン (modify_connector=d7163417-a1d8-4a5a-8e4b-a8babe128751.jpg) をクリックします。
  2. [詳細設定] で [AIプロキシ] を [サービスモード] として選択します。
    HTTP待機ポートの初期設定が8088になります。
  3. 必要に応じてHTTPSリスニングを有効にします。
    HTTPS待機ポートの初期設定が8443になります。
    HTTPS要求については、デフォルトのSSL証明書を使用するか、秘密鍵とパスフレーズを含むカスタム証明書を提供してください。
  4. [保護されたアプリ名] を入力します。
  5. 必要に応じて、X-Authenticatedユーザを使用できます。
    注意
    注意
    これにはAIサービスルールが必要です。詳細については、AI Secure Access Ruleを作成を参照してください。
  6. [Manage profiles]をクリックしてください。
  7. AIプロキシで適用したいLLMプロファイルを選択してください。
  8. [適用] をクリックします。
  9. 必要に応じて、接続アイコンをクリックしてプロファイルの接続性をテストできます。ただし、[保存]をクリックすると、テストされていない選択されたプロファイルの接続性が自動的にテストされます。
  10. [保存] をクリックします。
    ゲートウェイが保存され、サービスモードはAIプロキシです。