AI Proxy 是一種反向 Proxy，允許您使用多種大型語言模型（LLM）服務，並支援不同的 API 通訊協定。
您可以託管一個 AI 應用服務，該服務與多個自託管和開放的 LLM 互動，這些 LLM 使用不同的通訊協定/模型。您可以添加內部閘道作為 AI Proxy，位於您的私人
AI 應用和這些多個 LLM 配置檔之間，以透過進階內容檢查的 AI 服務存取規則來保護您的私人 AI 應用或您託管的 LLM。
AI Proxy 模式允許您為受保護的私有生成式 AI 服務創建和應用 AI 服務訪問和速率限制規則。內部部署的閘道接收對您私有生成式 AI 服務的請求，並可以應用進階內容過濾器、防止提示注入，以及通過速率限制規則阻止潛在的拒絕服務攻擊。檢查過的請求可以根據該內部部署閘道上的 LLM 配置文件轉發到個別的 LLM 服務，當 LLM 服務返回響應給 AI Proxy 時，可以再次應用內容過濾器，然後將響應返回給您的私有生成式
AI 應用，接著到達端點或最終用戶
您可以使用 X-Authenticated-User 選項根據使用者設定存取控制。預設情況下，X-Authenticated-User 選項未啟動，且在 AI Proxy
模式下的內部閘道只能套用基於 IP 的 AI 服務存取規則。
要使用此選項，必須由部署在內部閘道前方的下游應用程式插入 X-Authenticated-User 標頭。此 X-Authenticated-User 的值是最終使用者的
UPN 資訊。此 UPN 必須與用於建立基於使用者的 AI 服務存取規則的使用者/群組相關聯。標頭的格式為：
X-Authenticated-User: example@domain.com
如果此選項已啟動，但下游應用程式未將標頭插入到轉發流量中，則內部部署閘道會對此類流量應用任何基於使用者或 IP 的 AI 服務存取規則。
 |
重要
|
建立 LLM 配置檔 
在您將 AI Proxy 添加到您的閘道之前，您需要為每個您將要互動的 LLM 建立一個設定檔。
步驟
- 前往 ，然後部署新的內部部署閘道，或點擊現有內部部署閘道對應的編輯圖示 (
)。 - 在「Gateways」標籤上，從「設定」功能表中選取「AI proxy」。LLM 設定檔頁面開啟。
- 點擊「Create profile」。
- 輸入設定檔名稱。
- 提供個人檔案的描述。雖然不是必須的，但這可能會很有用，特別是當您有多個版本的 LLM 時。
- 選擇 LLM 提供者。
- 設定 LLM 的設定。
- 按一下「儲存」。
- 對於您想要新增的每個設定檔，重複步驟3到8。
將 AI Proxy 新增至內部部署的閘道
一旦您建立了您的 LLM 配置檔，您就可以創建您的 AI Proxy 並將其添加到閘道中。
步驟
- 在上，點擊您想要使用AI Proxy的閘道的編輯圖示（）。
- 在「進階設定」中，選擇「AI proxy」作為「Service mode」。預設的 HTTP 監聽埠是 8088。
- 如有需要，啟用 HTTPS 監聽。預設的 HTTPS 監聽埠是 8443。對於 HTTPS 請求，選擇使用預設的 SSL 憑證或提供具有私密金鑰和密碼的自訂憑證。
- 輸入「Protected app name」。
- 如果需要，您可以使用 X-Authenticated Users。
注意
這需要一個AI服務規則。欲了解詳細資訊，請參閱建立 AI 服務存取規則。 - 點擊「Manage profiles」。
- 選取您想要在AI Proxy中套用的LLM設定檔。
- 按一下「套用」。
- 如果需要，您可以點擊連接圖示來測試配置檔的連接性。然而，當您點擊「儲存」時，未測試的選定配置檔的連接性會自動進行測試。
- 按一下「儲存」。閘道已儲存，服務模式為AI Proxy。