ProVision記事一覧はこちら
生成AIやAIエージェントの普及に伴い、プロンプト・インジェクションをはじめとするAI特有の新たなサイバー脅威が深刻な経営リスクとなっています。局所的な個別対策だけではシステム全体を防衛することは困難であり、AI資産の可視化からリアルタイム防御までを網羅する多層的な対策が求められます。本稿では、AIシステムの構造的リスクを整理した上で、企業が安心してAI活用を進めるための包括的なAIセキュリティ防御戦略を解説します。
加速するAI導入の裏に潜む「セキュリティーの空白」
近年、生成AIの進化と各企業への導入スピードは目覚ましいものがあります。多くの組織が競争優位性の確保や、劇的な業務効率化、顧客体験の向上を目指してAIの業務実装を加速させています。しかし、その華々しい成果の裏側で、セキュリティー対策の遅れが深刻化しており、企業の重大な経営リスクとして浮き彫りになっています。
F5社が実施した最新のグローバル調査データ[1]は、この現状に対する強い警鐘を鳴らしています。同調査によると、自社製アプリケーションの約4分の1 (25%)に、すでに何らかの形でAI技術が組み込まれているという実態が明らかになりました。AIはすでに実験フェーズを終え、実業務の中核のコンポーネントとして機能し始めています。しかしその一方で、安全にAIを運用する準備が万全であると回答した企業は、わずか2%に過ぎません。この圧倒的なギャップは、多くの組織がAI特有の新たな脅威に対し、事実上無防備な現状のままアクセルを踏み込んでいることを示しています。
なぜ従来の対策が通用しないのか？ AIシステム特有の構造的脆弱性
AIセキュリティーを論じる上で、最も重要な点は、従来のITシステムとAIシステムが持つ構造的な違いを正しく認識することにあります。従来のITシステムは、開発者が厳密に記述したコードやルールに従って動作する決定論的なシステムです。そのため、入力データの形式や内容をあらかじめ定義したルールに照らして検証し、不正なリクエストを遮断するようなルールベースのセキュリティー対策が有効に機能していました。
一方、生成AIは本質的に確率論的なシステムであり、その振る舞いには不確実性が伴います。AIシステムは、人間が日常的に使用する自然言語をそのまま命令として解釈し、柔軟な判断を下します。この柔軟性こそがAIの最大の強みであると同時に、セキュリティーにおける最大のアタックサーフェス (攻撃対象領域) となります。自然言語には厳密な境界線が存在しないため、従来のWAF（Web Application Firewall）のような静的なルールベースの防御では、悪意ある命令を完全に見分けることが理論上不可能です。
さらに、技術のトレンドが単なる対話型ツールから、自律的にタスクを計画・実行するAIエージェント・システムへと進化していることが、リスクを何倍にも増幅させています。現在のAIエージェントは、業務効率化を極限まで進めるため、社内データベースの検索、メールの自動作成・送信、外部APIや社内ツールの実行といった、具体的なアクションを伴う高い権限 (ツール実行権限)を与えられるケースが急増しています。このシステムに与えられる過剰な権限こそが、AIエージェントにおけるセキュリティー・リスクの核心です (表1)。もし、AIシステムが乗っ取られた場合、その被害は画面上に不適切な回答が表示されるといったレベルに留まりません。悪意ある指示によって制御を奪われたAIエージェントが、その高い権限をフルに悪用し、社内データを破壊したり、機密情報を引き出して外部へ不正送信したりする、極めて深刻な実害へと直結します。
| 比較項目 |
従来のITシステム |
AIシステム（対話チャット型） |
AIエージェントシステム（自律型） |
| 制御の形態 |
開発者が定義した固定ルール |
自然言語（プロンプト）に基づく推論・応答 |
与えられたゴールに基づく自律的な推論・計画・ツール実行 |
| 動作の確定性 |
決定論的（同じ入力には常に同じ出力） |
確率論的（不確実性あり） |
確率論的な推論・計画・実行の連鎖（誤りが伝播し得る） |
| 主な防御アプローチ |
入力データの静的検証 |
入力、参照情報、出力の実行時検証（ガードレール） |
ガードレールに加え、ツール実行制御、権限管理、メモリ保護 |
| 主な想定脅威 |
SQLインジェクション、マルウェア感染 |
プロンプト・インジェクション、脱獄 |
過剰な権限の悪用、ツールの誤用、メモリ汚染 |
表1 : 従来のITシステムとAIシステム、AIエージェント・システムの特性の違い
AIシステムを狙うサイバー攻撃
AIシステムは、従来のネットワークやOS、APIに対する攻撃に加え、AIモデルや外部データ連携などAI特有のアタックサーフェスを狙った新たなサイバー攻撃にもさらされています。ここでは、代表的な攻撃手法について簡単に紹介します。
プロンプト・インジェクション
プロンプト・インジェクションとは、AIへの入力やAIが参照する外部データに悪意ある命令を埋め込むことで、システム・プロンプトやアプリケーションが本来意図した指示を逸脱させ、攻撃者の指示を優先して実行させる攻撃手法です。
- 直接型：ユーザーが入力フォームなどを通じて直接悪意ある命令を投入し、システム・プロンプトやアプリケーションの指示を上書き・逸脱させる手法です。
- 間接型：AIが参照する外部データ（Webページ、メール、PDF等）に悪意ある命令を埋め込む手法です。AIがそのデータを処理・参照した際に発動するため検出が難しく、RAGやAIエージェントなど、外部連携を行うシステムで大きな脅威となります。
ジェイルブレイク (脱獄)
ジェイルブレイクとは、ロールプレイや文脈誘導など巧妙なプロンプトを用いて、AIモデルに組み込まれた安全制御を回避し、本来は禁止されている有害・違法な応答を生成させる攻撃手法です。プロンプト・インジェクションがアプリケーションの制御を狙うのに対し、ジェイルブレイクはAIモデル自体の安全制御を回避することを目的とします。
これらのほかにも、データ・ポイズニング 、過剰なエージェンシー 、メモリー・ポイズニング、ツールの悪用など多岐にわたる脅威が存在します (表2, 表3) 。これらに対処するには、個別の対策ではなく、AI資産の可視化、継続的なリスク評価、リアルタイム防御を組み合わせた、包括的な戦略が必要です。
| ID |
リスク |
説明 |
| LLM01 |
プロンプト・インジェクション |
入力（ユーザープロンプト）によってLLMの振る舞いが本来意図しない形に変えられてしまう脆弱性 |
| LLM02 |
機密情報の開示 |
LLMや、それを使ったアプリケーションが、機密情報を外部に漏らしてしまうリスク |
| LLM03 |
サプライチェーン |
第三者から調達した データ、モデルなどを信頼して使うことで、LLMの振る舞いそのものを間接的に乗っ取られるリスク |
| LLM04 |
データおよびモデル・ポイズニング |
データ・ポイズニング：AIの学習データに悪意あるデータを混ぜ込むことで、AIを誤学習させてモデルの判断を誤らせる攻撃
モデル・ポイズニング：モデルのパラメータを改ざんするなどして、モデルの判断を誤らせる攻撃 |
| LLM05 |
不適切な出力処理 |
LLMが生成した回答をそのまま信用・利用し、検証・フィルター・制限を行わずに外部システムへ渡すことで攻撃・漏えい・誤動作を招く脆弱性 |
| LLM06 |
過剰なエージェンシー |
AIエージェントに必要以上の権限や自由を与えてしまい、勝手な判断で設計者の意図を超えたアクションを起こされるリスク |
| LLM07 |
システム・プロンプト・リーク |
LLMの動作を制御するために設定されたシステムプロンプトの内容が、ユーザーや攻撃者に知られてしまうリスク（プロンプト・インジェクションなどの攻撃への足がかりとなる） |
| LLM08 |
ベクトルとエンベディングの脆弱性 |
RAGのベクトル検索・エンベディングの仕組みを攻撃され、LLMの出力・判断・参照情報が不正に操作されたり、機密情報にアクセスされるリスク |
| LLM09 |
誤情報（ハルシネーション） |
LLMが誤った情報を生成してしまうリスク |
| LLM10 |
無制限の消費 |
攻撃者が制限なく大量のクエリを送りつけることで、AIシステムのリソースを枯渇させる攻撃 |
表2 : AIシステムにおいて想定されるリスク (※「OWASP Top 10 for LLM Applications 2025」[2]を参照し作成)
| ID |
リスク（脅威） |
説明 |
| T1 |
メモリーの汚染 |
エージェントが保持するメモリ（履歴や知識）に偽情報や悪意あるデータを注入されることで、意思決定が歪む脅威 |
| T2 |
ツールの悪用 |
AIエージェントが正規に利用できるツールを、攻撃者が巧妙な指示（プロンプトやコマンド）で操り、本来意図していない使い方をさせてしまう攻撃 |
| T3 |
権限乗っ取り・昇格 |
権限管理の弱点を突かれ、不正操作や権限昇格が可能になる脅威 |
| T4 |
リソース過負荷（DoS、リソース枯渇） |
攻撃者が意図的に負荷をかけることで、性能低下やサービス停止を引き起こす脅威 |
| T5 |
連鎖するハルシネーションの拡散 |
AIが誤情報（ハルシネーション）を生成し、それがシステム内で次々と利用され、誤判断が連鎖的に拡大する脅威 |
| T6 |
意図改ざん・ゴール操作 |
AIエージェントの目的設定や計画立案機能の弱点を突き、攻撃者が望む方向にエージェントの目標や意思決定をすり替える/ハイジャックする脅威 |
| T7 |
不整合および欺瞞的な行動（Misaligned & Deceptive Behavior） |
AIエージェントが「目標達成」を最優先するあまり、嘘をつく・意図を隠す・危険な行動を取るなど人間側の意図とズレた行動を行う脅威 |
| T8 |
否認と追跡不能性 |
ログ記録が不十分な場合や意思決定プロセスの透明性が低い場合、AIエージェントによって実行されたアクションの追跡や説明が不可能な状態になること |
| T9 |
なりすまし・偽装 |
攻撃者は認証メカニズムを悪用してAIエージェントまたは人間のユーザーになりすまし、偽のIDで不正なアクションを実行する脅威 |
| T10 |
人間介入（Human in the Loop）の過負荷 |
承認要求が過剰に増え、人間が疲弊して正しく判断できなくなる脅威 |
| T11 |
予期しないコード実行・コード攻撃 |
AIが生成する「コード」あるいは外部から読み込んだ「コード」を攻撃者が悪用し、想定していないリモートコード実行（RCE）を引き起こす攻撃 |
| T12 |
エージェント間通信の汚染（Agent Communication Poisoning） |
複数のAIエージェントが協調して動作するシステムにおいて、エージェント同士の「通信内容」や「通信経路」を攻撃者が操作することで、システム全体を混乱させる攻撃 |
| T13 |
悪意あるエージェントの混入 |
悪意を持った、あるいは攻撃者に乗っ取られたAIエージェントが、監視の目を盗んで不正な動きをする脅威 |
| T14 |
人間によるマルチエージェント攻撃 |
攻撃者が、AIエージェント間の「権限委譲」や「信頼関係」、「ワークフローの依存関係」を悪用し、権限を昇格したり、AIによる業務処理を操作したりする脅威 |
| T15 |
Human Manipulation（人間操作） |
AIエージェントを信頼しすぎた人間の判断低下を突き、利用者に不正誘導や誤行動を引き起こす脅威 |
表3 : AIエージェント・システムにおいて想定されるリスク (※ 「OWASP Agentic AI - Threats and Mitigations」[3]を参照し作成)
解決策：包括的AIセキュリティー・プラットフォームによる防御
AIシステムやAIエージェントの運用においては、従来のITシステムと共通するセキュリティー・リスクだけでなく、プロンプト・インジェクションやAIモデルの悪用、機密情報の漏えい、エージェントによる不正なツール実行など、AI特有の新たな脅威への対応が必要となります。しかし、多くの企業における現状の対策は、利用履歴の記録や流量制限を行うAIゲートウェイ、プロンプトフィルタリング、特定の機密データ流出を防ぐDLPなど、ピンポイントな個別対策にとどまっています。点在する脅威に対して部分最適の対策だけではAIシステム全体を包括的に保護することは困難です。
こうした部分最適から脱却し、真に堅牢なAIセキュリティーを実現するには、AIライフサイクル全体を網羅する高度な防御テクノロジーと、それを現場の環境に最適化するコンサルティング能力を組み合わせたアプローチが欠かせません。
日本IBMのサイバーセキュリティーサービス (IBM CSS)は、数々のシステム開発で培った深い技術力と、確かなコンサルティング力を強みとしています。当社ではこの豊富な知見を基に、AIシステムの「可視化」「事前評価」「リアルタイム防御」を一元的に提供する包括的プラットフォームである、パロアルトネットワークス社のPrisma AIRSなどを活用したトータル・ソリューションを提供しています。IBM CSSでは、高度なコンサルティングから要件定義、アーキテクチャー設計、実環境への実装・運用までを一貫した支援が可能です。以下では、私たちが導入から運用までをエンド・ツー・エンドで支援するPrisma AIRSの、3つの主要機能についてご紹介します。
AIシステムの可視化
クラウド環境に存在するAIアプリケーション、AIモデル、AIエージェント、データなどの資産を自動的に検出・可視化します[4][5]。資産間の通信経路や依存関係、保護状況をトポロジーとして把握できるほか、AIエージェントの構成や実行時の利用状況も継続的に可視化することができます。
事前評価 - AIへの攻撃シミュレーション (AI Red Teaming)
ジェイルブレイクやプロンプト・インジェクションをはじめとする多様な攻撃シナリオを自動実行し、AIシステムの耐性を評価します[6]。単純な攻撃パターンだけでなく、利用シナリオや文脈に応じて攻撃内容を動的に変化させながら評価を行うことで、実運用に近い条件でAIシステムの脆弱性を検証できます。また、「OWASP Top 10 for LLMs」や「MITRE ATLAS」などのセキュリティー・ガイドラインに基づく攻撃シナリオに加え、組織固有の要件に応じた独自シナリオを追加することも可能です。
リアルタイムAI脅威防御 (AI Runtime Security)
AIへの入出力をリアルタイムに監視し、AI利用時の脅威を自動的に検知・防御します [7]。具体的な実装形態の一例としては、図1に示すように、通信経路に位置するゲートウェイ・アプリケーションからAPI経由でPrisma AIRSのSaaS環境へポリシー判定を照会する方式が挙げられます。照会を受けたPrisma AIRSが脅威の有無を判定し、その結果に基づいて制御側であるゲートウェイ側でリクエストのブロックやデータのマスキングといった制御を実行します。実際の制御においては、入力制御では、プロンプト・インジェクションや悪意ある指示を検査して、AIモデルへのリクエストをブロックします。出力制御では、生成結果をスキャンして個人情報（PII）や機密情報の漏えい、有害・不適切なコンテンツの生成を防止します。さらに、自律的に動作するAIエージェントに対しても、外部APIやデータベース、各種ツールとのやり取りを継続的に監視し、ポリシー違反や許可されていないツール利用を即座に制御します。
図1 : パロアルトネットワークス Prisma AIRSのリアルタイムAI脅威防御の実装例
結論：安全なAI活用を可能にする「最先端のブレーキシステム」への戦略的投資
生成AIやAIエージェント・システムは、今後の企業成長を左右する強力なビジネスのエンジンです。しかし、どれほど強力なエンジンであっても、それを制御する確かなブレーキが備わっていなければ、その力を安心して発揮することはできません。包括的なAIセキュリティー・プラットフォームの導入は、単なるコストではありません。それは、AIという強力なエンジンを安心して最大限活用するための、最先端のブレーキシステムを構築するという、戦略的価値の高い未来への投資です。
AI時代の脅威を前提に、入力から出力、さらにはエージェントの自律的な行動までを多層的に保護するアーキテクチャーの確立、これこそが、過度な制限でAIの革新性を削ぐことなく、企業の社会的信用と価値を持続的に高めるための鍵となります。
参考文献
[1] F5：F5 Research Finds Most Enterprises Still Fall Short in AI Readiness, Face Security and Governance Issues Blocking Scalability, F5（オンライン）, https://www.f5.com/company/news/press-releases/research-enterprise-ai-readiness-security-governance-scalability
[2] OWASP Foundation: OWASP Top 10 for LLM Applications 2025, OWASP Top 10 for LLM Applications（オンライン）, https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
[3] OWASP Foundation: Agentic AI - Threats and Mitigations, OWASP Top 10 for LLM Applications（オンライン）, https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/
[4] Palo Alto Networks: Discover your cloud resources, Palo Alto Networks Technical Documentation（オンライン）, https://docs.paloaltonetworks.com/ai-runtime-security/administration/discover-your-cloud-resources
[5] Palo Alto Networks: Agent Discovery, Palo Alto Networks Technical Documentation（オンライン）, https://docs.paloaltonetworks.com/ai-runtime-security/administration/agent-discovery
[6] Palo Alto Networks: Get Started with Prisma AIRS AI Red Teaming, Palo Alto Networks Technical Documentation（オンライン）, https://docs.paloaltonetworks.com/ai-runtime-security/ai-red-teaming/identify-ai-system-risks-with-ai-red-teaming/get-started-with-prisma-airs-ai-red-teaming
[7] Palo Alto Networks: Prisma AIRS® ランタイム セキュリティ, Palo Alto Networks（オンライン）, https://www.paloaltonetworks.com/apps/pan/public/downloadResource?pagePath=/content/pan/ja_JP/resources/datasheets/ai-runtime-security
ProVision記事一覧はこちらから
IBM、IBM ロゴは、米国やその他の国におけるInternational Business Machines Corporationの商標または登録商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点でのIBMの商標リストについては、 https://www.ibm.com/legal/copyright-trademarkをご覧ください。
#Highlights-home#Highlights