IBM API ConnectのAI Gatewayを試してみる
2024年6月末に利用可能になった、IBM API Connect on AWS上のAI Gatewayを試してみました。
AI Gatewayについては、外部のAIサービスの利用を管理する機能として新たに追加されました。
AI Gatewayの概要については、こちらを参照ください。
AI Gatewayが利用するwatsonx.aiの情報について
AI Gatewayがwatsonx.aiにアクセスするために必要な、情報は以下の二つになります。
- API Key：事前にwatsonx.ai側で設定したAPI Keyになります。
- Project ID: watsonx.aiのプロジェクトに設定されているProject IDになります。
API Connectの設定手順
APIの作成
- API Connectのホーム画面から、APIの作成を選択します
- APIタイプの選択では、OpenAPI 3.0を選択し、AI gatewayを選択し、次へボタンをクリックします
- Create API from AI gatewayでは、タイトルにwatsonx.aiと入力し、次へをクリック
- watsonx.ai authenticationのIBM Cloud authenticaionのAPI Keyは、事前にIBM Cloudに設定したAPI Keyを設定します
watsonx.ai.invokeのところでは、watsonx.aiが稼働しているリージョンを設定します
Operation versionは、watsonx.aiのoperation version(今回は、2023-05-29）を設定して次へボタンをクリック
- プロジェクトIDを設定
- Rate limitingでは、呼び出し回数やTokenのlimitを設定できます。今回は、Tokenのlimitとして、200/2分で設定します
- APIの設定が完了すると下記画面になります
APIを公開する
- watsonx.aiで作成したAPIを公開します
- 既存の製品を選択し、watsonx.ai-productを選択し、次へをクリック
- 公開先として、sandboxを選択
- 可視性とサブスクライブ可能性はデフォルトのまま
- 公開されるとメッセージが以下のようにポップアップで出てきます
ポータルから製品をサブスクライブ
- API Connectの管理画面からSandboxを選択
- カタログ設定をクリック
- ポータルを選択し、ポータルのURLをコピーします
- ポータルのURLにアクセスします
- watsonx.ai-productを選択
- Default Planをサブスクライブします。アプリケーションの選択では、既存のアプリケーションを選択
- レビューとサブスクライブはそのままで、次へをクリック
APIのテスト
- コンシューマーカタログの画面よりwatsonx.ai-productを選択
- api名のところの、watsonx.aiをクリック
- POST /text-generateを選択して、試すタブを選択
- bodyのところに下記のデータを入力します
{
"input": "入力: IBMの本社はどこにありますか？\n出力:",
"parameters": {
"decoding_method": "greedy",
"max_new_tokens": 200,
"min_new_tokens": 0,
"stop_sequences": [],
"repetition_penalty": 1
},
"model_id": "ibm/granite-13b-chat-v2"
}
- 下記のような応答が返ってくれば、テスト成功です
API Connectのダッシュボードを確認
- API ConnectのAIの使用のダッシュボードを開きます
- 概要レベルのダッシュボードとして、コンシューマー組織の数や合計要求数、合計トークン数、トークンカウントのトレンド、ヒートマップがわかります
- 詳細な使用法を選択すると細かい情報が出力されます
AI Gateway for IBM API Connectでは、組織内外で利用する様々な業務アプリケーションとAIサービス間のAPIによる通信を一元管理し、保護するための機能を提供します。この機能により、生成AIの迅速かつ責任のある利用をサポートするだけでなく、リクエストレートの制限やAIサービスからの応答をキャッシュすることにより、AIサービスの利用にかかるコストの削減を期待することができます。
#APIConnect
#watsonx.ai