AI活用を成功に導く鍵 ――Citadel AI: BSI（英国規格協会）でも採用されるAIの品質管理の最前線

対談者：
株式会社Citadel AI Co-Founder, CEO 小林 裕宜氏 × デロイト トーマツ コンサルティング合同会社 パートナー 吉沢 雄介
司会進行：デロイト トーマツ リスクアドバイザリー合同会社 パートナー Japan Trustworthy AI Lead 染谷 豊浩

企業のAI導入においては、AIの品質管理とガバナンスが重要な経営課題になりつつあります。AI活用は利便性を高める一方で誤出力やバイアス、説明責任といったリスクも顕在化させます。

「AI活用を加速するガバナンスの構築」のために、業界を代表するソリューションプロバイダーとデロイト トーマツ グループの専門家の対談を通じた連載企画の第2回となる今回は、BSI（英国規格協会）にも採用されたCitadel AIの小林裕宜氏と、デロイト トーマツの吉沢雄介が、AIシステムの品質検証における自動化の意義や経営管理、規制対応などの議論を通じて企業がとるべき実践的な戦略を提示します。（本文敬称略） 

AIの品質管理の重要性と国内企業の対応状況

染谷　今回はCitadel AIの小林代表をお招きしてAIの品質管理を中心にお話を伺います。それでは、まずはお2人の自己紹介とCitadel AIの事業概要、今感じている国内企業の状況についてお話して頂こうと思います。

小林　私は長い間総合商社におりまして、アメリカにも10年以上駐在していました。当初はアメリカのスタートアップに投資する事業や、投資したスタートアップを日本に連れてくるような仕事に携わっていました。今から30年ほど前、そこで初めてスタートアップという世界があることを知り、投資自体はうまくいったのですが、「サラリーマンをずっと続けるのもどうか」と考え始め、いつか自分で起業したいという思いを持つようになりました。

ただ、一人でやるのは難しいですし、私自身はエンジニアではないため、技術面でのパートナーがいないと現実的ではないと感じていました。そんな中、最後のアメリカ駐在時に、ある方を経由して現在の共同創業者であるケニーを紹介していただきました。当時ケニーは、Google BrainというAIの研究開発部隊でTensorFlowを開発・運用する部隊のプロダクトマネージャーを務めていました。彼も外に出てやってみたいと考えており、二人とも日本に来るタイミングが重なったこともあり、2020年12月に会社を立ち上げました。

弊社は社名のとおりAIリスクに対する「砦」を意図しており、AIの信頼性を外部から検証・モニタリングして異常を検知することを主業務としています。ここ数カ月で品質検証やモニタリングについての問い合わせが急増しており、大手企業を中心に来年度から本格的にAIガバナンス体制の整備を進める動きが出ています。しかし、全体としては認識や準備に差があるのが実情です。特に専門人材の不足が深刻だと感じています。

吉沢　私は元々データサイエンティストとして現場でモデル構築を行っていました。この経験からすると以前からリスクは存在していましたが、生成AIの普及で従来は現場だけが向きあっていたリスクが広く認識されるようになり、ガバナンスや説明責任が経営課題として上がってきたと感じています。これまでも機械学習はマーケティング等の用途で採用されてきましたが、成果さえ出れば説明責任は後回しにされがちでした。それが今、変わりつつあります。 

株式会社Citadel AI　Co-Founder, CEO 小林 裕宜 氏
東京大学電子工学科卒業後、三菱商事株式会社に入社。株式会社ロイヤリティマーケティング社長、北米三菱商事会社SVP、米国インディアナパッカーズコーポレーションCEOなどを経て、2020年株式会社Citadel AIを共同創業し、代表取締役社長に就任。卓越した経営手腕と、ITから医療、小売、製造に至る幅広い業界知見を持つ。

染谷　生成AIブームで関心が高まっていますが、AIのリスク自体は以前から存在していたという点は重要ですね。では、改めて「AIの品質」とは何かについてお考えを伺えますか。

小林　私がよく使う比喩ですが、AIの学習は巨大なパチンコ台のような機構に大量の玉（データ）を流し込み、釘を調整するように内部の設定を微調整して望ましい挙動を得る作業に似ています。従来のソフトウエアはフローチャートで処理理由が追えますが、現在の多くのAIはそのような説明可能な構造を持ちません。結果として「なぜその出力になったのか」「誤りの原因は何か」が分かりにくい。これが品質管理の根本的な難しさです。

吉沢　加えて、生成系モデルに特に顕著ですが、AIは「分からない」と回答することが少なく、知っている範囲で回答してしまう傾向があります。いわゆるハルシネーションです。企業用途では一般解ではなく企業ポリシーや業務要件に沿った正確性が求められるため、品質基準はユースケースごとに定義する必要があります。 

現場の課題に応えるCitadel AIのソリューション提供価値

染谷　ハルシネーションの問題は外部に与える影響も大きいですが、Citadel AIのソリューションはどのようにこれらの課題に応えているのですか。

小林　いくつかのポイントがあります。まず、弊社は従来型のAIから生成AIまで、幅広く検証できる点が特徴です。もう一つは、監査や認証の視点を取り入れてプロダクトを設計してきたことです。監査観点で必要な検証やレポーティング機能、監査対応を見据えたUI等を備えていることが、関係機関の評価につながりました。

加えて、製品哲学として、「人がシステムに合わせるのではなく、システムが人の業務に合わせる」作りを意識しています。業務に精通した担当者の判断基準に沿ったアノテーションや評価軸を取り込み、現場で使える形で品質検証を行えるようにしています。

吉沢　そのアプローチは現場の支持を得やすいですね。監査視点と現場運用視点の両方を満たすことが、導入の説得材料になります。特にグローバルで事業を展開する企業は、EU AI Act等の規制に対する説明責任を果たす必要があるので、監査観点の出力が求められます。

デロイト トーマツ コンサルティング合同会社 パートナー 吉沢 雄介
データサイエンティスト職を経て現職。自動車、消費財、EC、商社、広告代理店業界を中心に経営意思決定・マーケティング・セールス領域におけるアナリティクスやデータ、デジタルを活用した戦略策定から実行支援に強みを持つ。近年はデータ駆動型経済におけるDX戦略及び全社改革、デジタル関連企業のM&Aを中心に従事。企業活動にエビデンスに基づいた意思決定する仕組み・文化を導入することを推進している。

染谷　国際的な品質管理規格の策定や認証を行う機関であるBSI（英国規格協会）でも採用されていますが、どのような評価を受けたのですか。

小林　BSIはAI領域での技術パートナーを求め、クローズドなコンペティションを行いました。約60社が参加し、我々もPOC（概念実証）に臨みました。評価されたのは、創業メンバーの技術的な知見に加え、要求に対して迅速にプロトタイプを出す開発スピードです。POCの過程で実務的な要件が次々に上がる中で、柔軟に対応できたことが選定の大きな要因だったと理解しています。 

AIの品質管理における課題と対策

染谷　進化が早いAI分野で価値を出すことができる素晴らしい対応力とスピードですね。では、次にCitadel AIのソリューションの導入における国内外での違いがあれば教えてください。

小林　海外では医療分野等、従来型AIのモデル検証・画像解析等に関する需要が高く、モデルリスクマネジメントの領域が中心です。一方、日本では金融業界や製造業を中心に、生成AIの利用が一気に広がり、社内問い合わせ対応や営業支援、顧客向けの自動応答といったユースケースが多くなっています。生成AIは外向きの対話や文章生成と親和性が高く、その出力ミスが業務に直結するため、出力品質やポリシー遵守の検証ニーズが強いです。

吉沢　背景には国や産業ごとの戦略の違い、そして現場仕事の習熟度や取り組み姿勢の違いもあるかもしれません。どの分野・タスクを優先的に検証するかは、企業の事業特性に左右されますが、共通して求められるのは説明責任と継続的なモニタリング体制です。

デロイト トーマツ リスクアドバイザリー合同会社 デロイトアナリティクス＆デジタルガバナンス パートナー Japan Trustworthy AI Lead 染谷 豊浩
30年以上に渡り、統計分析や機械学習、AI導入等の多数のデータ活用業務に従事。同時にディシジョンマネジメント領域でのソフトウエア開発、新規事業やAnalytics・DX組織の立上げなどの経験を通じて数多くの顧客企業のビジネスを改善。
幅広い分野のAI・Analyticsプロジェクトに従事し、デロイト トーマツ グループにおけるAIガバナンス領域のサービス責任者を務める。

染谷　そのモニタリングの「実務」をもう少し掘り下げたいのですが、現場ではどう運用すればよいのでしょうか。

小林　ポイントは二つです。まず「網羅性」です。ツールがない場合、プロンプトやテストデータを人が手作業で確認しますが、数千〜数万の組み合わせをカバーするのは現実的ではありません。そこで自動化による網羅的検証が必要です。次に「スライシング（分割）」です。属性や条件でデータを分割して評価する手法を用いて、特定の属性群に対するバイアスや誤差を検出する運用が重要です。全体精度が良くても、特定グループには誤動作があるケースが散見されます。

吉沢　そして最終的な判断は人が行う、Human-in-the-loopの仕組みを残すことも重要です。自動化は検出とアラートを担いますが、ビジネス判断や方針決定、修正決定は人の領域です。自動化で効率化しつつ、人が介在すべきポイントを明確にしておく運用設計が求められます。

染谷　現場で求められる対応についてよく理解できました。その一方で、経営層が説明責任を果たせるようにするには、どのような取組みが必要ですか。

吉沢　経営層向けには要約されたダッシュボードや説明用レポート、監査用には詳細なトレースが必要です。ただ、経営層は非エンジニアがほとんどなので、詳細を把握するのが難しい。重要なのは、経営が質問を受けた際に「何をやっているか」を示せるエビデンスを迅速に提示できる体制です。

小林　我々は検証レポートを非エンジニアでも理解できる形で自動サマライズする機能を実装しています。まず表紙的な要約を提示し、詳細を見たい場合は深掘りできるようにしています。これにより、経営層と現場エンジニアの双方の要求に応えることが可能になります。

画像：Citadel AI提供

AI for Security：求められるAIシステムのセキュリティ対策

染谷　AIシステムはセキュリティの観点でもリスクがあると思います。どのような攻撃に備えるべきでしょうか。

吉沢　AI固有の攻撃としては、敵対的攻撃（Adversarial Attack）やデータ汚染攻撃（Data poisoning）が代表的です。モデルに対して誤分類を誘発するような細工を加えたり、学習データに悪意のあるノイズを混入させたりすると、意図しない挙動が引き起こされる可能性があります。今はまだAI導入期のため大規模な攻撃は目立ちませんが、普及が進めば攻撃者のインセンティブは高まります。

小林　そのため、モデルやデータの堅牢化などの基盤的なセキュリティ対策と、ユースケースごとの安全性検証を同時に進める必要があります。前者だけで安心できるわけではなく、実際の運用で求められる正しさやポリシー準拠はユースケース単位で検証しなければなりません。

AIの品質管理の未来像

染谷　最後に、1〜2年の短期・5〜10年を見据えた中長期の取り組みとして企業は何を優先すべきでしょうか。実務的なアクションを教えてください。

吉沢　短期は、ユースケースごとの品質基準の明確化、日常的なモニタリング体制の構築とアラート設計、インシデント時対応プロトコルの導入と非技術者向けの可視化整備を優先すべきです。

 中長期は、AIの高度化に伴ってガバナンス自体を進化させる必要があります。より自律的なAIの挙動に対応するための評価軸や、エージェント同士の相互作用に対するルール整備など、従来の枠組みを超えた対応が求められると考えています。

小林　補足すると、我々は現場で使えるツールを提供することを重視していますが、企業側も早期に「基準」を定め、検証と運用をセットで回し始めることが肝要だと考えます。AIガバナンスは将来的に企業インフラの一部となる可能性が高く、今のうちから投資しておく価値は大きいです。 

読者へのメッセージ

染谷　本日はとても示唆に富むお話を頂きました。最後に一言ずつ、読者に向けたメッセージをお願いします。

小林　AIの品質管理とガバナンスは、パソコンのウイルス対策がインフラ化した過程に似ています。導入段階からユースケースごとの品質定義と網羅的検証体制を整え、運用で改善を回すことを勧めます。

吉沢　AIガバナンスはブレーキではなくガードレールです。適切なルールを設け、事業戦略と連動させることで、AIの恩恵を安全に最大化していってください。

染谷　ありがとうございました。お二人のお話を伺って、今後も技術の進化に合わせて、経営と現場が協働してガバナンスを進化させていくことの重要性がよく分かりました。

連載一覧

• 第1回 AIセキュリティの未来を語る――Cisco Systems: Security for AI と AI for Security の両面から
• 第2回 AI活用を成功に導く鍵 ――Citadel AI: BSI（英国規格協会）でも採用されるAIの品質管理の最前線