LiteLLM統合 | TrendAI™

ビュー:

LiteLLM統合を構成して、AIガードがLiteLLMプロキシを通過するAIアプリケーショントラフィックを検査し保護し、異なるAIプロバイダーやモデルにわたって一貫したセキュリティポリシーを提供できるようにします。

AIアプリケーショントラフィックはLiteLLMプロキシを通過します。AIガードプラグインを使用して、LiteLLMは受信リクエストをAIガードに送信し、ターゲットLLMプロバイダに転送する前にスキャンします。LLMプロバイダの応答もAIガードによってスキャンされ、リクエスターに返される前にスキャンされます。

統合を構成する前に、次の要件が満たされていることを確認してください。

LiteLLMバージョン1.81.0以降がインストールされ、実行されています。デプロイメントオプションについては、LiteLLMドキュメントを参照してください。
AIガードが有効になり、少なくとも1つの設定が適用され保存されました。
あなたのTrendAI Vision One™ロールには、[AI Security] → [AI Application Security] → [AIガード] → [Call detection API]権限が含まれています。

この権限を持つロールが存在しない場合は、管理者に連絡してください。

手順

あなたの認証トークンを取得。
1. Workflow and Automation → Third-Party Integrations
2. [LiteLLM] カードをクリックします。
3. [認証トークン] で [生成] をクリックしトークンをコピーします。

AI GuardのデプロイメントタイプのエンドポイントURLを取得します。

トレンドマイクロホスト型
1. Workflow and Automation → Third-Party Integrations
2. [LiteLLM] カードをクリックします。
3. [エンドポイントURL] をコピーします。
LiteLLMのデプロイが行われている地域でTrendAI Vision One™アカウントを使用してください。米国外の地域では、エンドポイントURLは<region>が次のいずれかである形式api.<region>.xdr.trendmicro.comを使用します: eu、jp、au、in、sg、mea。

Kubernetesでのセルフホスティング

エンドポイントURLは、LiteLLMがAI Guardに対してどこで実行されるかによって異なります。

LiteLLMの場所	エンドポイントURL
AI Guardと同じKubernetesネームスペース	`http://ai-guard:8080`
同じクラスター内の異なるネームスペース	`http://ai-guard.trend-ai-security.svc.cluster.local:8080`
クラスター外	外部イングレスURL

AI Guardをカスタムネームスペースにデプロイした場合は、trend-ai-securityをネームスペース名に置き換えてください。

AWSでセルフホスト
1. AWSマネジメントコンソールで[AI Guard CloudFormation]スタックを開きます。
2. [Outputs]タブで、[GuardAPIEndpoint]の値をコピーします。これがエンドポイントURLです。

LiteLLM用AI Guardプラグインを設定して展開します。

エンドポイントURLと認証トークンを準備したら、TrendAI Guard LiteLLMプラグインセットアップガイドに従って、プラグインのインストール、LiteLLMの設定、およびデプロイメントオプション (DockerとHelm) を行ってください。

AIガードは、LiteLLMプロキシを通過するAIアプリケーショントラフィックを検査および保護します。