IBM API ConnectのAI Gatewayを試してみる

2024年6月末に利用可能になった、IBM API Connect on AWS上のAI Gatewayを試してみました。

AI Gatewayについては、外部のAIサービスの利用を管理する機能として新たに追加されました。

AI Gatewayの概要については、こちらを参照ください。

AI Gatewayが利用するwatsonx.aiの情報について

AI Gatewayがwatsonx.aiにアクセスするために必要な、情報は以下の二つになります。

1. API Key：事前にwatsonx.ai側で設定したAPI Keyになります。
2. Project ID: watsonx.aiのプロジェクトに設定されているProject IDになります。

API Connectの設定手順

APIの作成

1. API Connectのホーム画面から、APIの作成を選択します
   
2. APIタイプの選択では、OpenAPI 3.0を選択し、AI gatewayを選択し、次へボタンをクリックします
   
3. Create API from AI gatewayでは、タイトルにwatsonx.aiと入力し、次へをクリック
   
4. watsonx.ai authenticationのIBM Cloud authenticaionのAPI Keyは、事前にIBM Cloudに設定したAPI Keyを設定します
   watsonx.ai.invokeのところでは、watsonx.aiが稼働しているリージョンを設定します
   Operation versionは、watsonx.aiのoperation version(今回は、2023-05-29）を設定して次へボタンをクリック
   
5. プロジェクトIDを設定
   
6. Rate limitingでは、呼び出し回数やTokenのlimitを設定できます。今回は、Tokenのlimitとして、200/2分で設定します
   
7. APIの設定が完了すると下記画面になります
   

APIを公開する

1. watsonx.aiで作成したAPIを公開します
   
2. 既存の製品を選択し、watsonx.ai-productを選択し、次へをクリック
   
3. 公開先として、sandboxを選択
   
4. 可視性とサブスクライブ可能性はデフォルトのまま
   
5. 公開されるとメッセージが以下のようにポップアップで出てきます
   

ポータルから製品をサブスクライブ

1. API Connectの管理画面からSandboxを選択
   
2. カタログ設定をクリック
   
3. ポータルを選択し、ポータルのURLをコピーします
   
4. ポータルのURLにアクセスします
   
5. watsonx.ai-productを選択
   
6. Default Planをサブスクライブします。アプリケーションの選択では、既存のアプリケーションを選択
   
7. レビューとサブスクライブはそのままで、次へをクリック
   

APIのテスト

1. コンシューマーカタログの画面よりwatsonx.ai-productを選択
   
2. api名のところの、watsonx.aiをクリック
   
3. POST /text-generateを選択して、試すタブを選択
   
4. bodyのところに下記のデータを入力します
   
   {

    "input": "入力: IBMの本社はどこにありますか？\n出力:",

    "parameters": {

     "decoding_method": "greedy",

     "max_new_tokens": 200,

     "min_new_tokens": 0,

     "stop_sequences": [],

     "repetition_penalty": 1

    },

    "model_id": "ibm/granite-13b-chat-v2"

   }

   
5. 下記のような応答が返ってくれば、テスト成功です
   

API Connectのダッシュボードを確認

1. API ConnectのAIの使用のダッシュボードを開きます
   
2. 概要レベルのダッシュボードとして、コンシューマー組織の数や合計要求数、合計トークン数、トークンカウントのトレンド、ヒートマップがわかります
   
3. 詳細な使用法を選択すると細かい情報が出力されます
   

AI Gateway for IBM API Connectでは、組織内外で利用する様々な業務アプリケーションとAIサービス間のAPIによる通信を一元管理し、保護するための機能を提供します。この機能により、生成AIの迅速かつ責任のある利用をサポートするだけでなく、リクエストレートの制限やAIサービスからの応答をキャッシュすることにより、AIサービスの利用にかかるコストの削減を期待することができます。

#APIConnect

#watsonx.ai