AIガバナンス高度化を支えるAIモデルテストの実践

生成AIをはじめとするAIの活用が広がるなか、企業には、AIの利活用を進めるだけでなく、公平性、透明性、説明責任、セキュリティといった観点を踏まえたAIガバナンスの整備が求められています。デロイト トーマツでは、AIガバナンスを、AI活用を制限するためのものではなく、安全性・信頼性を確保しながらAIの価値を最大限に引き出すための基盤と捉えています。

今回は、SOMPOホールディングス株式会社が、グループ全体でAIリスクガバナンスの整備を進めるなかで、Dataikuを活用したAIモデルテストの標準化と継続的な検証体制の構築にどのように取り組んできたのかについて、SOMPOホールディングスとデロイト トーマツの関係者に話を聞きました。

対談者

SOMPOホールディングス株式会社
リスク統括部 テクノロジーリスク統括室 特命部長 兼 室長
竹内 宏明 氏

SOMPOホールディングス株式会社
デジタル・データ戦略部 課長 兼 リスク統括部 テクノロジーリスク統括室 課長
柴田 裕輔 氏

合同会社デロイト トーマツ
Japan Trustworthy AI Lead
パートナー
染谷 豊浩

合同会社デロイト トーマツ
デロイトアナリティクス＆デジタルガバナンス シニアマネジャー
巻口 歩翔

合同会社デロイト トーマツ
デロイトアナリティクス＆デジタルガバナンス
佐藤 尚弥

AI活用拡大を見据え、グループ全体でAIリスクガバナンスを整備

――まず、今回の取り組みの背景について教えてください。

柴田：
SOMPOホールディングスは、国内損害保険事業、海外保険事業、国内生命保険事業、介護事業などを展開しています。従来の保険によるリスク補償にとどまらず、少子高齢化に伴うさまざまな社会課題に対応するため、生命保険、介護、ヘルスケアの各機能をつなぐウェルビーイング領域の強化を進めています。2025年からは事業体制を「SOMPO P&C」と「SOMPOウェルビーイング」の2つのビジネス領域に再編し、グループとして蓄積してきた顧客基盤、リスク管理ノウハウ、デジタル・データ・AIトランスフォーメーションを組み合わせた価値提供を進めています。

一方で、AI活用の拡大に伴い、AIの出力に関する公平性や透明性、継続的な運用体制の在り方など、新たなリスクへの対応が重要な課題となっていました。AIを安全かつ継続的に活用していくためには、体系的なリスク評価とAIモデルテストが不可欠だと考えています。

SOMPOホールディングス株式会社
デジタル・データ戦略部 課長 兼 リスク統括部 テクノロジーリスク統括室 課長
柴田 裕輔 氏

柴田：
そうした背景から、SOMPOホールディングスでは2025年3月にAIリスクガバナンスを策定しました。グループ全体で開発・導入するAIシステムに対して、リスク評価とモデルの出力に対するテストを実施することをルール化し、統一された品質基準のもとで運用する体制を整えています。

ただ、実際に運用を始めるにあたっては、第三者評価の取得、AIモデルテストに関する知見や運用ノウハウの拡充、グループ会社間でのテスト能力の均質化など、乗り越えるべき課題が多くありました。

説明可能性と再現性を備えた基盤としてDataikuを活用

――そのなかで、なぜDataikuとデロイト トーマツの支援を選定したのでしょうか。

柴田：
AIリスクガバナンスを実効性のあるものにするには、リスク評価、テスト設計、検証、改善までを一連で回せる仕組みが必要でした。そのため、AI技術への理解に加え、損害保険・金融業界特有の規制や実務に関する知識を有する外部専門家の活用を検討しました。

特に、契約者の保険契約情報を扱うことから、業界知識の深さは重要な選定要素でした。そのうえで、AIモデルテストの項目設計からテスト実施、改善提案まで一貫して対応できる点を評価し、支援先としてデロイト トーマツを選定しました。

そして、AIモデルテストの着実な実行を支える基盤として採用したのがDataikuです。

柴田：
グループ全体で長期にわたり利用することを想定すると、継続的に活用できることが大前提です。加えて、グローバルで実績を有するプラットフォームであることも、Dataiku選定の重要な判断材料になりました。

佐藤：
Dataikuには、AIの出力がどのデータを参照して生成されたのかを追跡できること、どのような加工が行われたのかを確認できること、テスト処理の流れを記録できること、テスト条件や結果のバージョン管理ができることなどの特徴があります。こうした機能は、AIモデルテストにおける説明可能性や再現性の確保に直結します。

AIガバナンスでは、単に精度を見るだけではなく、どのような条件で、どのような結果が出たのかを後から確認できることが重要です。その意味でも、Dataikuは継続的な運用に適したプラットフォームだと考えました。

合同会社デロイト トーマツ
デロイトアナリティクス＆デジタルガバナンス
佐藤 尚弥

精度・頑健性・セキュリティを多面的に検証

――具体的には、どのようなAIモデルテストを実施したのでしょうか。

佐藤：
AIモデルテストは、まずSOMPOグループ各社内でのリスク評価を経て、実施要否を判断することから始まります。その後、対象システムの開発・運用を担うオーナー部門との協議を経て、テスト設計を行いました。

Dataiku上で実施したAIモデルテストは、大きく3つの観点に整理できます。

1つ目は、AIの出力精度や根拠の妥当性を確認する正常系テストです。保険分野における約款など、契約者と取り交わす主要文書を参照元として、AIの回答が適切な箇所に基づいているかどうかを確認しました。比較対象として設定した正解との近さを、類似度やカバー率といった指標で数値化し、可視化しています。さらに、生成AIの出力を別の生成AIで要素分解して評価する手法も活用しました。

2つ目は、異常系、すなわち頑健性のテストです。同じ意味を持つ文章でも、表現を変えた際に回答が大きく変化しないかを確認しました。例えば、契約者や代理店からの照会に対して社員を支援するAIシステムでは、入力表現の違いによって回答内容が変わること自体がリスクになり得ます。そうした観点から、慎重に検証を行っています。

3つ目は、外部に公開されるAIシステムを対象としたセキュリティテストです。UIに対する疑似攻撃を通じて、プロンプトインジェクションのような攻撃に対して防御が機能するかを検証しました。

巻口：
デロイト トーマツでは、AIシステム第三者検証の観点から、生成AIシステムの精度検証や異常系対策の検証、検証結果を踏まえた改善支援を提供しています。今回の取り組みでも、単に問題点を見つけるだけではなく、改善につなげるところまで含めて支援しています。

合同会社デロイト トーマツ
デロイトアナリティクス＆デジタルガバナンス シニアマネジャー
巻口 歩翔

テスト結果を可視化し、改善とリリース判断につなげる

――テスト結果は、どのように活用されているのでしょうか。

佐藤：
テスト結果はDataiku上でダッシュボードとしてまとめられ、SOMPOグループ各社や関係者が確認できるようにしています。プロジェクトごとに各指標の基準値を定め、達成状況を算出するとともに、根拠となるテストデータまで詳細に確認できる仕組みとしました。

仮に精度低下などの問題が検出された場合には、対象システムのどこに原因があるのかを分析し、改善施策の検討につなげます。

巻口：
単にAIモデルテストを実施するだけでなく、課題解決や改善に向けた施策まで提示できることが重要だと考えています。オーナー部門が改修を行った後には再テストを実施し、実際に改善が図られたかどうかを確認しました。

竹内：
初回テストでは回答の精度が十分でなく、改善点が検出されるケースが多いものの、デロイト トーマツの助言を踏まえた改修後の再テストでは精度の向上が数字としても明確に表れています。この変化を客観的なデータとして確認できることが、AIシステムのリリース可否判断における重要な指標となっています。

万一、改善を重ねても精度が実用水準に届かない場合には、リリースの延期や中止も選択肢に入ります。そうした判断ができる体制自体に、AIモデルテストの意義があると考えています。リリースが急がれる場面でも、AIリスクガバナンスの観点から客観的な判断材料をそろえ、必要に応じて経営層も交えた協議に持ち込む仕組みを整えています。

SOMPOホールディングス株式会社
リスク統括部 テクノロジーリスク統括室 特命部長 兼 室長
竹内 宏明 氏

巻口：
AIガバナンスでは、説明責任や透明性の確保に加え、AIの設計・開発・運用の全フェーズで継続的に改善していくことが重要です。こうした客観的な検証結果をもとにリリース判断や改善を進められることは、AI活用を安心して広げていくうえで大きな意味があります。

グループ全体への展開と、継続的なAIガバナンス運用へ

――今後の展望について教えてください。

竹内：
このリスク評価とAIモデルテストの枠組みは、すでに国内グループ会社全体へ展開しています。Dataikuについてもグループ共通で利用できる体制を整え、AIモデルテストに関する専門人材が限られるグループ会社であっても、SOMPOホールディングスの支援を通じて、同水準のリスク評価やテストを実施できるようにしています。

今後は、AIシステムのさらなる増加を見据え、社内にノウハウを蓄積していく方針です。定型的に繰り返し実施するテストについては、段階的に内製化を進める一方で、新しいテクノロジーや高度な知見が求められる領域については、引き続き外部専門家の支援も活用しながら、継続的な高度化を図っていきます。

染谷：
SOMPOグループの取り組みは非常に先進的です。第三者による検証をここまでしっかり行っている事例は、海外を含めてもまだ多くありません。ただし、AI利用に起因するインシデントは毎年増え続けており、今後もリスクを積極的に把握して適切に対策していくことで、AI活用を加速していくことができます。そうした場面で、私どもの知見をご活用いただければ幸いです。

AIリスクガバナンスの目的は、AI活用に歯止めをかけることではなく、経営目標の実現に向けてリスクを適切に見極め管理することにあります。戦略的なAI活用から目を背けることは、むしろ市場ニーズの変化に対応できないリスクとなりかねません。だからこそAIガバナンスの強化は、企業の競争力向上だけでなく、社会的責任を果たし、持続可能な成長を実現するための重要な経営課題です。

デロイト トーマツでは、AIガバナンス体制整備、AIシステム第三者検証、AIガバナンス運用支援などを通じて、企業が安心・安全にAIを活用できる環境づくりを支援していきます。

合同会社デロイト トーマツ
Japan Trustworthy AI Lead
パートナー
染谷 豊浩