生成AIの普及により、AIのライフサイクルを包括したリスク管理の重要性がかつてないほど高まっています。各国において、AI規制・ガイドラインも発表されつつある中、IBMが提供する最新のAIガバナンス・テクノロジーwatsonx.governanceについてご紹介します。
AIライフサイクル管理の必要性と社会動向
AIは利用される目的や用途に応じて、そのもたらす影響や危険の度合いが大きく異なります。一律の規制では、軽微なリスクに対して過剰な対応負荷がかかる、もしくは重大なリスクに対して対応が不足することもあります。また、業界や国際的なルールの変化に応じて柔軟な対応が必要です。リスクの程度や影響を見極めて、段階的な対策を取ることが効率的です。このためAIの規制やガイドラインはリスクベース・アプローチが主流です。このアプローチにより、高リスク領域では透明性、説明責任を強化し、低リスク領域では監査体制を軽微にするなど、メリハリをつけた運用が可能です。
ユースケース策定後も、AIはライフサイクル全体で監視が必要です。AIのライフサイクルは、AIユースケース策定、AI開発（データ収集、モデル開発）、AI運用と大きく3つのフェーズに分けられます。1つ目のAIユースケース策定フェーズは、AIの適用領域や目的を明確に定義します。例えば、人命に関わるような医療診断システムや基本的人権に関わる監視システムなど、リスクの高いユースケースを特定する必要があります。このフェーズが不十分な場合は、リスクの高いユースケースが見過ごされる可能性があり、社会的な問題を引き起こす恐れがあります。2つ目のAI開発フェーズは、モデルの基盤となるデータを収集し、それを元にAIモデルを構築します。第三者の著作物、個人情報、自社の機密情報、お客様からお預かりしている機密情報が混入してしまうと、このデータをAIが学習して出力してしまう可能性があります。データが流出してしまった場合、社会的信頼を失うばかりか、法的責任をも問われかねません。3つ目の運用フェーズでは、AIモデルの出力結果や性能を継続的に監視する必要があります。例えば、社外向け生成AIアプリケーションで、ハルシネーション（誤った情報や事実と異なる情報）を含む内容がSNSに投稿されて炎上し、悪用されるという高いリスクがあります。規制が変更された場合は、その規制に応じたリスク対策を講じられるようにAIアプリケーション、AIモデル、もしくは運用等を変更しなければなりません。このようにAI開発した後も、定常的にモニタリングし品質を担保できる仕組みが必要です。
これらの理由から、AIライフサイクルの各フェーズにおいて、AIリスク管理の必要性は今後もますます求められるでしょう。
AIライフサイクルに関するIBMの取り組み
AIに関する規制やガイドラインについての取り組みが各国で加速しています。EUは包括的なAI規制法（AI Act [1])を策定し、AIのリスクレベルに応じた罰則を定めています。米国ではNIST（米国商務省・国立標準技術研究所）がAI リスク・マネジメント・フレームワーク (AI RMF [2])を発表しており、州レベルでの規制や法案も進行中です。日本では総務省・経済産業省を中心にAI事業者ガイドライン[3]を発表しています。
IBMではグローバルな規制に対応するため、全社的なプライバシーおよびAI管理システム（PIMS [4]）を構築しました。このツールを拡張して、AI業務全体におけるコンプライアンスの文書化と追跡をより適切に行っていきます。5,500以上ものアプリケーションやプロセスをPIMSで管理することで、リスク管理を企画・開発から運用まで実施することができるようになり、IBM全体で何千時間もの労力節約につながっています（図1参照）。全社的なプライバシーおよびAI管理システムであるPIMSでの経験を幅広いお客様へ提供するため、ここで培われた技術がwatsonx.governanceにも組み込まれています。
図1. IBM Privacy & AI Management System(PIMS 2.0)の活用事例
watsonx.governanceとは
AIライフサイクルは前述の通り、AIモデルユースケースの策定から始まり、開発（データ収集、モデル開発）、運用フェーズでのモニタリングまで、様々なフェーズがあります。このAIライフサイクル管理を実現するためには、組織の体制作りやルール作りが不可欠です。それに加えて、AIライフサイクル管理のためのツールを導入することが効果的です。もちろん、Excel等のOffice文書を駆使して管理することも可能ですが、AIライフサイクル管理ではライフサイクルの各フェーズで管理すべき複数の情報を一元管理することで思わぬミスを防ぐことができます。また、AIライフサイクル管理は、AIユースケース起案者である業務部門、AIモデル開発者、コンプライアンス・リスク管理・法務部門等の利害関係者部門など様々な関係者間で情報の共有ややり取りを行いながら実施していく必要があります。これらの情報の共有や連絡も従来のメールや電話で実施しているのでは煩雑、かつ記録も管理が困難です。
IBMでは、AIライフサイクル管理を実現するためのソフトウェアとして、watsonx.governanceを提供しています[5]。watsonx.governanceは、IBM watsonx製品群のなかで、信頼できるAIの構築を支援するためのツールキットです（図2参照）。
図2. 企業の価値創造を支援するためのAIプラットフォームwatsonx
watsonx.governanceでは、AIユースケースの策定から、開発、運用時のモニタリング、さらにはモデル開発時や運用開始後の法規制コンプライアンス・チェック、インシデント管理まですべてのAIライフサイクル管理を実現することができます（図3参照）。
図3. AIライフサイクルを包括的に管理するためのワークフロー
AIライフサイクル管理を実現する要素
watsonx.governanceは、以下の3つの機能を軸にAIライフサイクルを見える化し、AIリスクの所在を明らかにするとともに、誰がどのようなアクションを取る必要があるのかを明確にし、AIの信頼性を守ります。これら3つの機能がAIライフサイクル全般において相互に関連しながらAIライフサイクル管理の実現をサポートします。
- モデル・インベントリー
- 評価とモニタリング
- モデル・リスクガバナンス
堅牢なAIモデルのリスク管理を実施するには、包括的な情報が整理されたモデル情報管理が不可欠です。watsonx.governanceはすべてのAIモデルのユースケース情報を網羅的に一元管理するための「モデル・インベントリー」を軸にAIリスクの管理を行います。モデル・インベントリーでは、AIユースケースの基本情報（目的、用途、所有者等）に加えて、ユースケースの起案から承認、AIモデル開発、運用までのモデル・ライフサイクルの状態、AIユースケースに関連するAIリスクの情報、AIモデルに関する基礎情報、並びにAIモデルのパフォーマンス評価情報をユースケースと関連付けて管理します。ここで明確な関連付けをすることで、AIのユースケース別に抜け漏れなく、リスクの大小に応じた対策が可能になります。
2つ目の機能である「評価とモニタリング」では、watsonx.governanceの評価エンジンにより従来の機械学習モデルに加えて生成AIモデルを評価できます[6]。対象とするAIモデルは、弊社のwatsonx.aiで開発したモデルはもちろん、他社製AI開発プラットフォームで開発したモデルも評価対象とすることができます。評価結果は自動的にダッシュボードに連携され常に最新の状況を確認することができます（図4参照）。開発フェーズにおけるパフォーマンス評価に加えて、運用フェーズにおいても継続的にモニタリングを行いAIモデルの品質を保つことができます。
図4. AIモデルのパフォーマンス確認
3つ目の機能である「モデル・リスクガバナンス」ではAIのライフサイクルをワークフローで管理します。ワークフローにはそれぞれのフェーズにおけるリスク評価が組み込まれており、AIモデルのリスク管理プロセスを実現します。これにより、リスクが高いままAIモデルが運用されることを防ぎ、リスクに対し適切な対処がされていることが把握確認できます。（図5参照）。また、ダッシュボードでモデル・インベントリーの状態やリスク評価状況、AIモデルのパフォーマンス情報などを把握することができ、それぞれの詳細情報の参照もダッシュボードからクリック1つで行えます（図6参照）。watsonx.governanceではAIモデルで生じるAIリスクを網羅したAI Risk Atlas[7]というリスク・テンプレートを提供しており、アンケート形式の質問に回答することにより、該当AIモデルユースケースで評価対象となるリスクを自動的に割り当てることができ、AIリスクを漏れなく評価することができます。
図5. AIリスクの評価
図6. ダッシュボードによる全社AIリスクの把握
規制・ガイドライン対応
watsonx.governanceは、規制・ガイドラインの対応をAIライフサイクル管理の中に組み込むことができるプラットフォームです。製品標準としては、EUのAI規制法（AI Act）のリスクレベル判定を自動的に行うためのテンプレートを提供します。EUのAI規制法（AI Act）に準拠しているかを確認するためのテンプレートについても今後提供する予定です。また、AI事業者ガイドラインへの準拠確認も組み込むことが可能です。
業務部門（AIユースケースの起案者）は、アンケート形式の質問に回答することにより、EUのAI規制法（AI Act）のリスクレベル判定や、AI事業者ガイドラインへの準拠を確認することができます。また、他の規制やガイドラインについてもテンプレートを作成することで対応フローを組み込むことができ、自由にカスタマイズも可能です。
watsonx.governanceの特徴まとめ
- 包括的なAIライフサイクル管理の実現：従来の機械学習モデルに対するMLOps（機械学習モデルの開発～分析～運用までの一連の流れを効率化する手法）の範囲に加えて、ビジネス利用をするために必要なAIユースケース策定～開発、継続モニタリングまでのリスク・ガバナンスを、機械学習モデル・生成AIモデル問わず包括的に実施可能
- 他社製AIモデルの評価：watsonx.aiで開発されたAIモデルはもちろん、他社製プラットフォームで開発されたAIモデルも評価
- 規制・ガイドライン対応：規制・ガイドライン対応のための標準テンプレートを備えており、自由にカスタマイズも可能
- IBMのAIリスク評価ノウハウを凝縮：AI Risk AtlasをベースにAIユースケースのリスクを自動判定しAIリスクを漏れなく評価
すなわちAIライフサイクル全般において、包括的な管理を実現するプラットフォームを提供できるという点がwatsonx.governanceの大きな強みです。
MLOpsのみや、リスク・ガバナンスのみを実現できるソリューションはかねてより存在していますが、生成AIの台頭により、企業は包括的にAIライフサイクルを管理しAIモデルの信頼性を担保する必要がでてきています。それを実現するためのソリューションがwatsonx.governanceとなります。
おわりに
今後、AIを企業の業務に本格的に活用する場面が増えるのに従い、AIリスク管理の重要性が一層高まってきます。AIライフサイクルとリスク評価のワークフローを俯瞰し、ユースケースに応じてリスクの大きさを判断し、今から取るべきAIリスク対策をメリハリつけて実践していきましょう。IBMでは、お客様のAIガバナンスに関する構想策定、構築、運用改善に向けたAIガバナンス推進アプローチ、watsonx.governanceを使った実用最小限のプロトタイプ(MVP: Minimum Viable Product)を提供しています。こちらも併せてご活用下さい。
＊「AIの信頼性」テーマの他の記事はこちら↓
参考文献
[1] IBM：EU（欧州連合）AI規則とは, https://www.ibm.com/jp-ja/topics/eu-ai-act
[2] NIST：AI Risk Management Framework(RMF),
https://www.nist.gov/itl/ai-risk-management-framework
[3] 経済産業省：AI事業者ガイドライン（第1.0版）, https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/20240419_report.html
[4] IBM：PIMS, https://www.ibm.com/case-studies/ibm-oprt-pims
[5] IBM：watsonx.governance, https://www.ibm.com/jp-ja/products/watsonx-governance
[6] IBM：生成AIの品質評価, https://www.ibm.com/docs/ja/watsonx/w-and-w/2.1.x?topic=evaluations-generative-ai-quality
[7] IBM：AI Risk Atlas, https://dataplatform.cloud.ibm.com/docs/content/wsj/ai-risk-atlas/ai-risk-atlas.html?context=wx&audience=wdp