ビュー:

AIプロキシは、異なるAPIプロトコルを使用して複数の大規模言語モデル (LLM) サービスを利用できるリバースプロキシです。

AIアプリケーションサービスをホストし、異なるプロトコル/モデルを持つ複数のセルフホストおよびオープンLLMと対話することができます。プライベートAIアプリケーションと複数のLLMプロファイルの間にAIプロキシとしてオンプレミスゲートウェイを追加し、AIサービスアクセスルールと高度なコンテンツ検査によってプライベートAIアプリケーションまたはホストしているLLMを保護することができます。
AIプロキシモードでは、保護されたプライベート生成AIサービス専用のAIサービスアクセスおよびレート制限ルールを作成して適用することができます。オンプレミスゲートウェイはプライベート生成AIサービスへのリクエストを受け取り、レート制限ルールを使用して高度なコンテンツフィルタリングを適用し、プロンプトインジェクションを防ぎ、潜在的なサービス拒否攻撃を阻止することができます。検査されたリクエストは、オンプレミスゲートウェイ上の指定されたLLMプロファイルに基づいて個々のLLMサービスに中継され、LLMサービスがAIプロキシに対応を返した後、再度コンテンツフィルタリングを適用してからプライベート生成AIアプリケーションに対応を返し、エンドポイントまたはエンドユーザに届けます
X-Authenticated-Userオプションを使用して、ユーザに基づいたアクセス制御を設定できます。デフォルトでは、X-Authenticated-Userオプションは有効になっておらず、オンプレミスゲートウェイがAIプロキシモードで動作する場合、IPベースのAIサービスアクセスルールのみが適用されます。
このオプションを使用するには、オンプレミスゲートウェイの前に展開されたダウンストリームアプリによってX-Authenticated-Userヘッダーを挿入する必要があります。このX-Authenticated-Userの値はエンドユーザのUPN情報です。このUPNは、ユーザベースのAIサービスアクセスルールを作成するために使用されるユーザ/グループに関連付けられている必要があります。ヘッダーの形式は:
X-Authenticated-User: example@domain.com
このオプションが有効になっているが、ダウンストリームアプリが転送トラフィックにヘッダーを挿入しない場合、オンプレミスゲートウェイはそのようなトラフィックに対してユーザまたはIPベースのAIサービスアクセスルールを適用します。
ai_proxy_arch=71a8576a-4080-4f1d-a41b-64c0ec341536.png
重要
重要
  • オンプレミスゲートウェイでAIプロキシモードを有効にするには、対応するService Gatewayとインターネットアクセスオンプレミスゲートウェイサービスの両方を最新バージョンに更新する必要があります。
  • 生成AIサービスを保護するためにAIプロキシモードを使用している場合、エンドポイントからのリクエストを受信するサーバを設定し、リクエストヘッダーのX-Forwarded-ForフィールドにエンドポイントのIPアドレスを追加する必要があります。そうしないと、オンプレミスゲートウェイがエンドポイントを識別してアクセス制御やレート制限機能を実行することができません。

LLMプロファイルを作成 親トピック

ゲートウェイにAIプロキシを追加する前に、やり取りする各LLMのプロファイルを作成する必要があります。

手順

  1. Zero Trust Secure Access → Secure Access Configuration → [Internet Access and AI Service Access Configuration]に移動し、新しいオンプレミスゲートウェイを展開するか、既存のオンプレミスゲートウェイに対応する編集アイコン (modify_connector=d7163417-a1d8-4a5a-8e4b-a8babe128751.jpg) をクリックします。
  2. [ゲートウェイ] タブで、[設定] メニューから [AIプロキシ] を選択します。
    LLMプロファイルページが開きます。
  3. [プロファイルを作成]をクリックします。
  4. プロファイルの名前を入力してください。
  5. プロファイルの説明を提供してください。必須ではありませんが、特に複数のバージョンのLLMを持っている場合には役立ちます。
  6. LLMプロバイダを選択してください。
  7. LLMの設定を行います。
  8. [保存] をクリックします。
  9. 追加したい各プロファイルに対して手順3から8を繰り返します。

AIプロキシをオンプレミスゲートウェイに追加する 親トピック

LLMプロファイルを作成したら、AIプロキシを作成し、ゲートウェイに追加できます。

手順

  1. [Internet Access and AI Service Access Configuration] → [ゲートウェイ]で、AIプロキシを使用したいゲートウェイの編集アイコン (modify_connector=d7163417-a1d8-4a5a-8e4b-a8babe128751.jpg) をクリックします。
  2. [詳細設定] で [AIプロキシ] を [サービスモード] として選択します。
    HTTP待機ポートの初期設定が8088になります。
  3. 必要に応じてHTTPSリスニングを有効にします。
    HTTPS待機ポートの初期設定が8443になります。
    HTTPS要求については、デフォルトのSSL証明書を使用するか、秘密鍵とパスフレーズを含むカスタム証明書を提供してください。
  4. [保護されたアプリ名] を入力します。
  5. 必要に応じて、X-Authenticatedユーザを使用できます。
    注意
    注意
    これにはAIサービスルールが必要です。詳細については、AIサービスアクセスルールの作成を参照してください。
  6. [Manage profiles]をクリックしてください。
  7. AIプロキシで適用したいLLMプロファイルを選択してください。
  8. [適用] をクリックします。
  9. 必要に応じて、接続アイコンをクリックしてプロファイルの接続性をテストできます。ただし、[保存]をクリックすると、テストされていない選択されたプロファイルの接続性が自動的にテストされます。
  10. [保存] をクリックします。
    ゲートウェイが保存され、サービスモードはAIプロキシです。