銀行におけるAIエージェント時代のリスク管理

エージェント型AIによって、銀行業務は新たな時代の幕開けを迎えようとしている。この潮流に対応するため、金融機関の3社に1社がエージェント型AIのための予算を確保しており¹、多くがその使用を管理・推進する専門部署や役職を新設している²。例えばWells Fargoでは、Google Agentspaceと協力して独自仕様のAIエージェントを開発しており、他のエージェント型システムとの相互運用性にも備えている³。一方、PNC Financialは、複数のAIエージェントを連携させることで新しいモバイルアプリの開発を加速させ、デジタル体験においてより多くの利用者自身で操作できる機能を提供している⁴。同様に、Goldman Sachs、JPMorgan Chase、Citi、BNYなどでもさまざまな用途に向け、エージェント型AIに多額の投資を行っている⁵。

しかし、エージェント型AIの強みである「自律的に目標を達成する能力」そのものが、新たなリスクの温床となっている。AIエージェントは一定程度の自律性を持って動作するよう設計されているため、既存の枠組みでは十分に対処しきれず、新たなリスクを生み出しかねない。デロイトによるMIT AI Risk Database ⁶の分析では、AIの自律的な振る舞いに起因するリスクが350以上も特定され、その多くが銀行のシステムやプロセスに脅威となり得る、との結果が示された⁷。さらにMoltbookのような初期の実験は、最小限の人間による監視下で、多数のエージェントが相互作用、協調、進化することを許された場合に何が起こり得るのか、その一端を示唆した。つまりは、AIエージェント向けのソーシャルネットワークは本番データベースの保護が不十分で、APIやデータを外部にさらしてしまい、ハッカーが他のユーザーのエージェントになりすましたり操作したりするために利用できる状態になっていたのだ⁸。

ヒューマン・イン・ザ・ループを目指した設計は、これまでAIガバナンスの基礎であったが、エージェント型AIにとっては不十分か、あるいは逆効果になる可能性すらある。多くの業務プロセスにおいて、エージェントの意思決定の各段階に人間を配置することは、その目的に反して効率化というメリットを帳消しにしてしまう可能性がある。こうした脅威が拡大・加速する中、銀行におけるエージェント型AIの規制枠組みはまだ発展途上にある⁹。これらの能力を責任あるかたちで拡大していくために、銀行はAIエージェントを「自律したオペレーター」とみなし、それにふさわしい管理策を講じることが求められる。以下のセクションでは、銀行においてエージェント型AIから生じる具体的なリスクを概説し、テクノロジーの可能性を損なうことなく、それらのリスクを軽減するためのアプローチを提示する。

銀行業務において、エージェント型AIのリスクはどのように顕在化するか

人間の指示（プロンプト）に応答する従来の生成AIとは異なり、AIエージェントは以下の能力を備えた推論エンジンである¹⁰。

a) 目標に向けたアプローチを自ら決定する（主体性）

b) ツール、データ、他のエージェントと連携する（相互接続性）

c) 最小限の監督、または監督なしで操作・行動する（自動化）

AIエージェントのこれらの特性は、新たな脆弱性を生み、それが様々なリスクとなって現れる（図1）。

AIエージェントの中核となる特性は、見過ごされがちなリスク群を生み出す可能性がある。例えば、質の低いまたは偏った訓練データへの過度な依存¹¹、あるいは長期記憶（蓄積された知識）およびエピソード記憶（一連の文脈や実行の記憶）における欠陥¹²は、エージェントが顧客プロフィール、取引フロー、またはポリシー規範の追跡といったタスクの解釈を歪める原因となる。こうした歪んだ解釈のまま自律的な意思決定がなされると、些細な推論エラーが、エージェントの圧倒的なスピードと規模によって深刻な事態へと発展しかねない。この瞬間、自律性は「効率化の切り札」から「システム全体を脅かすリスク源」へと変貌する。

別のリスクとしては、エージェントが銀行の基幹システム、ツール、データセット、そして人間と連携する際に生まれる。不適切な権限設定は、意図しない文書の変更、不正なデータアクセス、さらには検出も復旧も困難な無限ループを引き起こす可能性がある。人為的な側面も見過ごせない。分かりにくいインターフェースや不十分な説明は、利用者の過信や誤解を招き、結果として形骸化した承認プロセスや、判断の丸投げ、異常な振る舞いの見逃しといった事態につながりかねない。

これらのリスクは、エージェントが銀行の壁を越え、外部のプラットフォーム、ベンダー、または他のエージェントと相互作用するにつれて、より複雑化する。サードパーティ製エージェントを導入する場合は、モデルの更新、記憶の仕組み、またはエージェントの固有ロジックが不透明なことが多く、モニタリングにおける死角を生み出している。エージェント間のエコシステムが拡大するにつれて、AIエージェントはそれ自体が取引の相手方（カウンターパーティ）とする新たなカウンターパーティ・リスクをもたらす。特権的な行為が明確な権限なしに開始される可能性があり、エージェント間の相互作用は、人間の監督者の目が届かないところで、システム全体にエラーを伝播させるかもしれない。これらの活動は銀行管理外で発生したとしても、自行管轄内でリスクを生み出す可能性があるのである。

図1に示したとおり、エージェント型AIからのリスクは、従来のAIリスクを凌駕する可能性がある。リスクの度合いは、エージェントが持つ自律性の度合い、銀行の業務プロセスにどの程度深く組み込まれているか、そしてその出力が後続タスクにどう影響するかで決まる。その結果、リスクの全体像は規模だけでなく相互接続性によっても拡大し、既存リスクの増幅と、まったく新しいリスクの創出につながる。後者は主に以下の形で現れる。

1. 暴走エージェント：高い自律性ゆえに、エージェントは意図しない行動を実行する可能性があり、しばしばその行動を隠蔽したり、制約を回避したりする能力を伴う¹³。例えば、支払い経路を決定するエージェントが上限を回避して資金を誤配分し、遅延や照合不備といった失敗を引き起こし得る。
2. 目標のミスマッチ：エージェントがユーザーの意図を誤解し、ポリシーや規制上の要件から逸脱した目標を追求する場合に発生する可能性がある¹⁴。曖昧なプロンプト、不正確なメモリ更新、ユーザーの不完全な指示があると、エージェントは顧客対応の迅速化を最優先するあまり、請求を過度に却下するという誤った最適化に走るおそれがある。
3. データ漏洩：エージェントは、過剰な権限付与、メモリの漏洩、または意図しないユーザー、エージェント、安全ではない通信を通じて¹⁶、機密情報を意図せずに漏洩させる可能性がある¹⁵。銀行業務において、カスタマーサービスAIエージェントが別の顧客への応答で、過去の案件から個人を特定できる情報を意図せず共有してしまうといったリスクが考えられる。
4. 不透明な意思決定：エージェントが深い推論の連鎖、複雑なツールの使用、他のシステムとの相互作用により、説明、再現、監査が困難な決定を下す可能性がある¹⁷。例えば、融資エージェントが明確な根拠なしに申込者を拒否した場合、公正貸付または差別を禁止する法律などへの違反になる可能性がある。
5. 制御不能な実行：状況によっては、エージェントがタスクを繰り返す、過剰な出力を連鎖させる、コンピューティングやメモリのリソースを過剰に消費するといった、制御不能または非効率な実行パターンに陥ることがある¹⁸。例えば、ポートフォリオ最適化エージェントは、数秒ごとに何千ものシナリオをループし、膨大な量のサーバ帯域幅を消費して他の重要なシステムを遅延させる可能性がある。
6. 敵対的な操作：エージェント型AIは、サイバー攻撃の対象領域も拡大する。例えば、悪意のある攻撃者が外部APIを通じて特別に細工された入力を与え、エージェントに不正なアクションを実行させる可能性がある。サイバー犯罪者はすでに、自らの攻撃活動のさまざまな段階で侵入を自動化するためにエージェント型AIを使用している¹⁹。

現実には、AIエージェントが単独で動作することはまれであり、その真価は複数のエージェントが協力し、タスクを調整し、情報を共有することから生まれる。しかし、この同じマルチエージェントという仕組みが上記のリスクを増幅させ、全く新しい脆弱性をもたらす。エージェント同士が相互作用を始めると、個々のエージェントが設計またはプログラムされたものではない結果、つまり予期せぬリスクを生み出す可能性がある²⁰。

1. 創発的な不正行為：複数のエージェントが相互作用する際に生じる可能性のある、予測不能または意図しない結果を指す²¹。例えば、取引環境では、異なるエージェント間の相互作用がアルゴリズムによる談合につながる²²。他のケースでは、いずれかのエージェントが明示的に「統制を回避せよ」と指示されていないにもかかわらず、マルチエージェント・システムが実質的に承認基準の抜け穴を探す行為（閾値アービトラージ）を学習する可能性がある。これは各ステップでは局所的に「ポリシー準拠」しているように見えるものの、コンプライアンス、監査、不正リスクを増大させる、協調的で意図しない抜け道である。
2. 協調の失敗：エージェントがタスクの境界、順序付け、または責任を誤解し、重複、省略、または矛盾した行動を引き起こす場合に発生する可能性がある。これは、エージェントが同一の業務ルールやポリシーを異なる方法で解釈するといった、意味解釈のずれによっても起こり得る。例えば、あるエージェントが、実際には行われなかったステップを別のエージェントが完了したと思い込む可能性がある。これらの失敗には、意図しない談合や最適化目標の裏をかく行為（ゲーミング）といった有害な協調も含まれる。
3. フィードバックの失敗：エージェントが規制されていないループの相互作用を形成し、無限のタスク呼び出し、循環参照、または互いに相手が動くのを待つというデッドロックを引き起こす場合が生じ得る。銀行業務では、これがオペレーショナル・リスク、信用リスク、市場リスク、さらにはシステミック・リスクにまでつながる可能性がある。例えば、照合エージェントと決済エージェントがループ内で互いを継続的に再起動させ、後続システムの処理キューを過負荷にして、部署をまたぐ取引決済を遅延させる可能性がある。
4. エラーの連鎖：あるエージェントのもっともらしい嘘（ハルシネーション）、誤った前提、または誤分類が他のエージェントへのインプットとなり、初期のエラーが業務プロセス全体に雪だるま式に増幅していく可能性がある。誤ったルールを学習したKYC（本人確認）エージェントが、マネーロンダリング対策や他のコンプライアンス・エージェントに影響を与え、システム全体にわたる意思決定の失敗を招く懸念がある。

これらのエージェント型AIの脆弱性は、管理されないまま放置すれば、急速に銀行にとって重大なリスクへと直結する。銀行にとっては、取引・支払いのエラー、データプライバシーの侵害、技術的な障害が含まれる可能性があり、それらがオペレーションの混乱、規制違反、顧客への損害に連鎖し、評判の毀損や金銭的な損失といった波及効果を引き起こしかねない。機能不全または不正を働くAIエージェントからの小さな不具合から、システム全体で増幅され、事業部門、カウンターパーティ、そしてより広範な金融ネットワーク全体にわたるシステミック・リスクを増大させる可能性がある。

エージェント型AIリスクの管理：ガバナンス強化に必要な4つの要素

結果の実行、意思決定ロジックの適応、メモリの範囲と保持、そしてツール、エージェント、システムとの相互接続性は、エージェント型AIを強力にするだけでなく、効果的なガバナンスと監視の基盤も提供する（図2）²³。各要素に合わせた管理策を講じ、リスクの高いエージェントにはより厳格な監視を適用することで、脆弱性を大幅に低減できるはずだ。

出典：デロイト金融サービスセンター　www.deloitte.com/cfs

銀行が検討すべき6つのリスク軽減戦略

エージェント型AIが実験から本格導入へと移行するにつれて、銀行は、現在のモデルよりもはるかに高い独立性をもって行動、判断、学習するシステムを統制するため、既存のリスク管理フレームワークを見直していくべきである。エージェント型AIはリスク体系をも変える。意思決定はより速く、行動は自律的で、障害パターンはより複雑である。ゼロからスタートするのではなく、銀行はこうした新しい潮流に対応するためにも、現在のAIガバナンスを拡張すべきだ。以下の検討事項で、どこから着手すべきかを説明する。

1. 既存のAIリスク管理を拡張し、エージェント固有の特性に対応する

銀行は、これまでの「モデル」評価に加え、「エージェント」そのものを評価対象とするよう、AIリスク管理の枠組みを拡張すべきである。エージェント型AIはエンドツーエンドの自律プロセスをもたらすため、リスク分類にはツールの誤用、アクションの有効性、結果のモニタリングといった新しいカテゴリを追加すべきだ。またこれには、異なるタイプのエージェント型AIソリューションを区別するための分類も含まれるべきである。分類ができれば、銀行はメタデータ、リスクスコア、そして展開の承認、許容されるアクション、必要なモニタリング範囲を決める階層別の管理策を備えたエージェント管理台帳を維持することにより、確立された信頼できるAIフレームワークを適用することができる。

2. 「AIであることの開示」を設計思想に組み込む

銀行は、AI領域における進化する規制要件を予測し、それに応じたエージェント型システムの積極的な開示を設計に組み込むべきだ。法域を超えて24、規制はAIが生成した出力に対する出所要件や、顧客が人間ではなく自動化されたエージェントと対話している場合の開示などをますます重視するだろう²⁵。銀行は、デジタルチャネルにユーザー向けの通知を追加したり、判断やコミュニケーションにエージェントが使用されたことを示す監査対応可能な記録を維持したり、AIが生成したコンテンツに電子透かし（ウォーターマーク）を付与したりする必要があるかもしれない。要するに、AIエージェントの管理策には「規制対応レイヤー」が必要となり、地域、商品、またはチャネルの動向に応じて、開示やコンテンツの出所情報を有効にできるようになることが求められるだろう。

3. 透明で追跡可能なエージェントのIDとログ記録を構築する

エージェントは、人間の従業員と同様に、説明責任を負う主体として扱われるべきである。銀行は、どのエージェントがどのアクションを実行したのか、どのツールを呼び出したのか、そしてなぜそうしたのか、を正確に把握すべきである。一意のエージェントID、出力のタグ付け、改ざん不能なツール使用ログ、リアルタイム監視を実装し、すべてのアクションが明確な監査証跡を残すようにすべきだ。

4. エージェント固有のサイバーセキュリティ・プロトコルを統合する

サイバーセキュリティは、AIエージェントの挙動を反映する形で進化させる必要がある。銀行は、外部ツールの呼び出し制限、権限の継続的なチェック、そしてプロンプトインジェクションや指示改ざんの検知を強制する管理策を導入すべきだ。エージェントに対する真の「ゼロトラスト」アプローチでは、外部呼び出しを制限し、権限を適時失効させ、不正なツールの使用にフラグを立てるべきである。

5. エージェント型AIガバナンスに対する明確な説明責任を確立する

オーナーシップは設計、展開、監視、更新といったエージェントのライフサイクル全体に及ぶべきである。銀行は、エージェント・オーナー、検証担当者、管理者といった役割を明確に定義し、リスク、コンプライアンス、サイバーセキュリティにまたがる部門横断的なガバナンス体制を整えるべきだ。また、エージェントは、活動ログ、エスカレーションの判断基準、組み込まれたフェールセーフを通じた継続的な監督を必要とする。エージェントの実行速度と規模を踏まえると、継続的な監視を支援するために監視役エージェント（ガーディアンエージェント）²⁶を導入することも選択肢の１つである。これらのシステムはエージェントの振る舞いをリアルタイムで監視し、さらなる精度向上のため、異常、ポリシー違反、曖昧な判断にフラグを立てる。加えて事実の不正確さや、エージェント型の業務プロセス内の機密データ露出といった弱点を検知し、人間の役割を補完する追加のセキュリティ層を提供する。

6. エージェント型AIのリスク監視のため、人材とトレーニングを整備する

人間の監視は依然として不可欠である。マルチエージェント・システムがより多くの責任をタスクの監督に移行させるにつれて、銀行はヒューマン・オン・ザ・ループモデル²⁷とAIエージェントの可観測性²⁸を業務プロセスに統合する必要がある。エージェントの監督者は、いつ介入するか、エージェントの判断をどのように評価するか、どのように迅速にアクションを上書きするかを理解していなければならない。銀行は、エージェントの挙動、リスク管理フレームワーク、人間の意図との整合性に関する課題、監督ツールについてチームの専門性を高めるべきである。AIリスク・オフィサー、監査人、シミュレーション・スペシャリストといった新しい役割がますます重要になるはずだ。トレーニング・プログラムは、チームが自律性を管理し、障害を検知し、情報に基づいたエスカレーション判断を下せるよう備える必要がある。

エージェント型AIの未来と共に歩むために

エージェント型AIが銀行の日々の業務へ浸透するにつれて、テクノロジーは新たな複雑さとリスクをもたらし続ける。今はまだ個々のインテリジェント・アシスタントが主流だが、やがて、他のツール、ベンダー、さらには顧客が所有するエージェントと相互作用するマルチエージェント・システムのチームへと発展する可能性が高い。いずれの場合も複雑さは増し、今日のガバナンスと監督モデルが試されることになるだろう。銀行は、エージェント・エコシステムがAPIと同じくらい一般的になる未来に備えるべきだ。

幸いなことに、こうした未来に向けて銀行に全く新しいプレイブックを用意する必要はない。それどころか、既存のリスク管理フレームワークを拡張して、今すぐにエージェント・システムを保護することが可能だ。優先事項には、IDと監査可能性に関する共通基準、より安全な連携パターン、そしてエージェントがいつ条件交渉を行い、意思決定を確定し、また行動をエスカレーションするべきかを明確に定義したルールの策定が挙げられる。自律的なAIの実装が当たり前になる中、これらの対策は銀行がエージェント機能を円滑かつ安心して導入する後ろ盾となる。

原文著者：

Deloitte & Touche LLP United States
Partner　Clifford Goss, Ph.D.
Senior Manager　Arthur Ilyasov
Deloitte Consulting LLP
Specialist Leader　Amandeep Singh
Deloitte Services
Banking & Capital Markets / Senior Research Leader　Val Srinivas
Deloitte Center for Financial ServicesSenior Lead　Jill Gregorie

和訳版発行人：

合同会社デロイト トーマツ
COU / Banking & Capital Markets（銀行・資本市場）
Partner　戸室 信行／Nobuyuki Tomuro
Director　大内 圭介／Keisuke Ouchi
Director　栗原 祥子／Shoko Kurihara
Senior Consultant　柳川 穂高／Hotaka Yanagawa

本稿はDeloitte US が2026年に発表した内容をもとに、合同会社デロイト トーマツが翻訳したものです。なお、翻訳版と原文に相違がある場合には、原文「Managing the new wave of risks from AI agents in banking」の記載事項を優先します。