AI利活用を支える守り：AIセキュリティガバナンスの構築

はじめに

近年の技術発展に伴い、生成AIを中心としたAIの利活用が企業において急拡大している。特定のテーマに限定せず質疑応答等を行える汎用的な生成AIや、特定の分野に特化した自立型AIエージェントなどがすでに多くの業務で導入されており、AIとビジネス活動は切っても切れない関係になっている。今後この流れは加速していくことが想定され、AIは電気やインターネットと同じように当たり前のものになっていく。

一方で、企業はAIの利活用に伴うリスクにも適切に対応することが求められる。AIにまつわるリスクは多岐にわたるが、本稿ではAIセキュリティリスクを取り扱う。AIが原因となるインシデントなどが発生した場合、企業のAIの利活用拡大の停滞につながりかねない。企業のAIの利活用拡大、ひいてはAIを用いた競争力の向上のためにも、企業はAIセキュリティリスクに適切に対応する必要がある。

AIに関する脅威と対策

企業がAIを利活用する際には、従来のITシステムにはなかった脅威に対応する必要がある。本項は、AIに係る代表的な脅威と対策を概説する。

プロンプトインジェクション

生成AI固有の脅威の代表例として、プロンプトインジェクションが挙げられる。生成AIに入力されるプロンプトに不正な指示を混入させ、モデルの挙動や出力を意図しない形に変更し、AIが組み込まれたシステムや業務に悪影響を与えることを目的としている。例えば、ユーザーの指示を受け外部コンテンツを整理するAIエージェントが不正な指示が含まれたウェブサイトを参照した場合、意図せずその指示をAIが実行してしまう。その結果として、機密情報が漏えい、もしくは、システムプロンプトが書き換えられるなどしてAIエージェント自体が乗っ取られてしまう場合がある。

攻撃者によって乗っ取られたAIエージェントは二次被害をもたらす。例えば、乗っ取られたAIエージェントが連携している他システムに不正なコードなどを送信してしまい、連携先の他システムが不適切に動作する場合がある。また、AIエージェントに付与されている他システム上の権限が悪用され、他システムの機密情報などが不正な第三者に転送される場合もある。

上記のような脅威に対しては、AIエージェントに付与する権限の最小化、ログモニタリングなどの従来のセキュリティ対策に加え、システムプロンプトの堅牢化やLLMガードレールなどを用いた入出力フィルタリングなど、生成AI固有の対策を実装していくことが求められる。

開発段階の脅威

ほかにも、開発段階のAIに対する脅威も存在する。例えば、AIのモデル開発時に利用する学習用データやRAG（Retrieval-Augmented Generation）に不正なデータを混入させるデータポイズニングなどが挙げられる。これらに対しては、開発環境へのアクセス制御、データの出所や安全性の検証などを実施することが求められる。また、不正な第三者によって改ざんされたOSS（Open Source Software）を用いたAI開発を防ぐ必要もある。例えば、ソフトウェア部品表（SBOM）を用いて自社で使用しているパッケージやライセンスなどを管理するとともに、外部から提供されるモデルやファイルの安全性・信頼性を事前に検証することが求められる。

AIセキュリティガバナンスの構築

企業はAIの利活用にあたって、上記に代表されるような脅威への対策を実装する必要がある。AIセキュリティリスクへの対応はAIのユーザー部門の協力が必要である。ただし、ユーザー部門に対応を一任すると、担当者の属人的な対応となり、実装される対策に漏れが生じる場合や、担当者の退職などにより取り組み自体が停止してしまう場合がある。

AIセキュリティリスクへの対応を実効的かつ継続的な取り組みにしていくためにも、AIセキュリティガバナンスの構築が必要不可欠である。例えば、組織的にAIセキュリティに対応する管理態勢を確立するとともに、ユーザー部門がセキュリティ対策を実装する際に準拠する「AIセキュリティ対策標準」を定め、遵守を求めるといった取り組みが挙げられる。

本項では、AIセキュリティガバナンスの構築にあたり企業が対応すべき事項を概説する。なお、以降では、AIセキュリティに関わるCoE（Center of Excellence）が対応を推進するケースを想定し詳細を説明する。

図1 AIセキュリティガバナンスのイメージ

管理態勢の整備：

管理態勢の整備にあたりまず取り組むべきは、AIセキュリティ活動に関わるPDCAサイクルを整備することである。例えば、AIセキュリティCoEはAIセキュリティに係る目標・組織体制、必要なリソースを明確化の上、経営トップから承認を受け、実行計画に則った活動を推進する。AIの技術発展は非常に急速であるため、目標、実行計画などは高い頻度で見直す必要がある。

なお、管理態勢の整備は、既存の活動と連携を取ることが望ましい。例えば、既存のサイバーセキュリティ活動を、公知のAIセキュリティに関わるフレームワーク*を参考に見直し・拡張することで、ユーザー部門にとって受け入れやすい態勢を確立することができる。

AIセキュリティ対策の落とし込み：

「AIセキュリティ対策標準」は、企業で開発・利活用されるAIに実装される対策を定めるガイドラインであり、複数の文書で構成される。また、文書の整備と併せて、ユーザー部門にAIセキュリティ対策を適切に実装してもらうためのプロセスづくりも重要である。文書とプロセスの整備にあたっては、大きく分けて次の3つのステップで進めることが一般的である。

【ステップ1 現状と課題、対策の識別】
企業ですでに開発・利活用されているAIを調査し、システム構成・情報資産などの観点からAIを分類する。分類したAIについて、公知のフレームワーク*等を参考に、実際に発生しうる脅威と必要な対策の整理を行う。そのうえで、現行のセキュリティ対策を踏まえ、「AIセキュリティ対策標準」として整備すべき文書やプロセスを特定し、対応ロードマップを策定する。

【ステップ2 プロセス・文書の整備】
必要な対策ごとに実装例および要求水準を検討し、文書化、プロセス整備をする。「AIセキュリティ対策標準」を最初の段階から網羅的にすることが難しい場合、リスクベースで優先度の高い対策から段階的に社内に展開していくことが推奨される。優先度の高い対策から社内展開していくことで、足元で対処すべきリスクから予防できる。対策の優先順位の付け方としては、次のように考えることができる。

• とりわけ重要な資産や業務にかかわるAIの脅威に効果的な対策を優先する。
  
• 非常に多く用いられている、利活用が急拡大するAIの脅威に効果的な対策を優先する。

【ステップ3 高頻度の見直し】
AIセキュリティに関する脅威・対策は急速に変化することが想定されるため、プロセス・文書の形骸化や陳腐化を防止するためにも、比較的高い頻度でのレビュー・見直しが推奨される。

なお、対策の一部には、ツール導入によって対応可能なものも存在する。ユーザー部門が「AIセキュリティ対策標準」を満たさないツールを導入することを避けるためにも、多くの適用対象・対策に関わるツールについて、AIセキュリティCoEが企業の標準ITツールを整備のうえ、ユーザー部門に利用を呼びかけることは効果的と考えられる。

図2 AIセキュリティ対策の落とし込みのアプローチ

まとめ

本稿では、AIセキュリティにおける代表的な脅威と対策を踏まえ、企業が取り組むべきAIセキュリティガバナンスの構築を概説した。企業の安全なAIの利活用には、ユーザー部門と綿密に連携したうえで、AIセキュリティCoEを中心とした管理態勢の構築とリスクベースでの対策の実装が重要である。なお、急速なAIの技術革新に鑑み、高頻度でのプロセスや文書のレビュー・見直しが推奨される。

企業におけるAI利活用をより一層推進するためにも、AIセキュリティリスクに対応すること、ひいてはAIセキュリティガバナンスを構築することが望まれる。

脚注

*「NIST IR 8596」、「OWASP Top 10 for LLM Applications 2025」、「MITRE ATLAS」等を想定

執筆者

中村優士
デロイト トーマツ サイバー合同会社
マネジャー
（所属・職位は掲載当時のものです）