第七章 AIロボットが生み出す安全性の脅威とAIロボットメーカーの対策

1. はじめに

産業用ロボットは加工・組立て・搬送タスクを自動化し、生産性を大幅に向上させるという点で導入メリットが大きい。しかし、産業用ロボットの導入メリットが低いケースも実は少なくない。たとえば、産業用ロボットが担うタスクの稼働が低ければ、作業員が作業した方が費用対効果は高く、人手不足や危険作業などの特殊事情がなければ、産業用ロボット導入にメリットはない。また、生産切り替え時のロボットの調整作業は工場稼働率を低下させるため、多品種少量生産の場合、産業用ロボットの導入メリットは小さくなる。生産性を更に高めるためには、特定のタスクを作業する産業用ロボットだけではなく、調整が不要で、作業員のような様々なタスクを担うロボットが必要となる。このロボットとして期待されているのがAIロボットだ。 

2. AIロボットの優位性

AIロボットと産業用ロボットの大きな相違点はティーチング（教示）手法にある。産業用ロボットのティーチング手法には、オンラインティーチング、オフラインティーチング、ダイレクトティーチングなどがあるが、いずれも作業員がロボットに位置（位置決め）やモーション（動作）をティーチングする。産業用ロボットは作業員がティーチングした通りにしかモーションしない。そのため、作業員がティーチングした位置と工程の位置にずれがあれば、産業用ロボットの作業は不良となる。これを避けるには、産業用ロボットと工程で位置合わせなどの細かな調整作業が必要となる。多品種少量生産では、生産切り替え時に何度もこの調整が入るため、工場の稼働率が低下する。

一方、AIロボットのティーチングは自律的だ。これはAIの世界では「学習」と呼ばれる。作業員がティーチングしないため、ティーチングレスと呼ばれることもある。この学習手法の一つに模倣学習がある。模倣学習では、作業員がロボットを操作し作業を成功させたお手本動画（学習データ）を作成し、AIはこのお手本動画からどのようなモーションの連続（軌跡）が正解作業につながるかを学ぶ。実際の学習では条件を変えた無数のお手本動画化をAIに与える。たとえばネジ位置を変えた無数のお手本動画をAIに与え、ネジ位置によってどのような軌跡が正解の作業になるのかを学ばせる。

この学習が終了すれば、AIロボットは、たとえばネジ位置がどこにあろうとも、どのようにモーションすれば正解作業を実施できるかを「推論」できるようになる。学習データ作成に人手は必要であるものの、学習後は再調整や人手は不要で、その結果工場の稼働率は高まる。また、AIに様々なタスクを学習させれば、AIロボットが担えるタスクが増えてくるので、AIロボットの稼働率も高くなる。しかも位置決めが難しく、産業用ロボットでは作業できなかったピッキング作業のようなタスクに対しても、AIロボットは推論で作業できるため、工場の自動化は一層進む。

なお、現時点ではAI処理（学習や推論）にかかる電気消費量や学習費用が高いため、費用対効果は期待したほど高くはならない。しかし、低消費電力のAIチップ、学習を自動化するデジタルツイン技術やお手本動画の自動生成技術が普及し始めており、今後、費用対効果は大幅に改善されていくだろう。 

3. 安全性の脅威

AIロボットの利活用で安全性は最重要課題だ。はじめにAIロボットの安全性の脅威を説明しよう。推論で動作するAIロボットには、下記に示すように、産業用ロボットとは異なる脅威が内在している。

• 学習データに一部誤りがあり、AIロボットが誤った作業を実行する危険がある。
• 学習が過学習となり、実環境では誤った作業を実行する危険がある。
• 学習データに誤りがなく、過学習がなかったとしても、推論ミスを犯し誤った作業を実行する危険がある。
• 学習データに匠の技である自社保有の工作ノウハウ（工場のブラックボックス技術）を入れた場合、その学習データや推論データが盗まれて、その工作ノウハウが外部流出する恐れがある。

また、AIロボットには産業用ロボットより、安全性でより深刻な脅威も存在する。その一つがバックドアだ。バックドアとは、攻撃コマンドを送受信するために、ハッカーがクラウド（学習の場）やAIロボット（推論の場）に密かに実装する悪意のあるインターフェースだ。バックドアはいろいろなフェーズで仕掛けられるが、注意が必要なのは、開発や製造段階で仕掛けられるバックドアだ。これはAIロボット購入時にすでに存在しているため発見が難しい。特に危険なのは、AIロボットメーカー、またはその一部従業員に悪意があり意図的に実装されたバックドアだ。これを放置すると、バックドアから貴重な工作ノウハウが流出しかねない。また、意図しない誤動作を引き起こされる可能もある。最悪のケースでは、国家の支援を受けた攻撃者が有事の際に相手国の生産活動を麻痺させるために、このバックドアを利用するかもしれない。実際にこの手のバックドアが発見された事例もあり、現実の脅威となっている。 

4. 安全対策の考え方

次にAIロボットメーカーの安全対策の考え方を説明しよう。AIロボットは汎用性が高く、様々なタスクを時に人と協働して担うため、安全柵で覆われることの多い産業用ロボットに比べ、誤動作に伴う被害は一般的に大きくなる。したがって、AIロボットではより強固な安全対策が必要となる。

AIロボットの安全性を脅かすリスクは、AIロボットの学習・部品・製造・設置・運用・保守など様々なフェーズに内在する。これらリスクは下記に示すように３種類に分類される。

• 経年劣化、各種ノイズ、サージなど偶発的事象に伴うロボットの誤動作（過失）
• ソフトウェアバグコードの実行など決定論的事象に伴うロボットの誤動作（過失）
• ハッキングなど意図的事象に伴うロボットの誤動作（故意）

産業用ロボットの場合、この３種類のリスクに対する安全対策は概ね下記となる。

• 偶発的な誤動作に対しては、安全柵設置など「本質安全」やセーフティ機能（たとえば緊急停止ボタン）といった「機能安全」でリスクを緩和する。
• 産業用ロボットでは、ティーチング後に実機で怪しいモーションがないかをテストし、ソフトウェアバグコードが実行されないことを確認する。これはティーチング通りにモーションしている間は決定論的事象が発生しないことを意味している。万一、決定論的事象が発生しても上記に記載した本質安全や機能安全で被害を抑え込むことが可能だ。
• 産業用ロボットがスタンドアロン利用からネットワーク利用になると、ハッキングによる誤動作という新たなリスクが加わる。これに対しては網羅的なセキュリティリスク分析を実施し、発見されたセキュリティリスクに対しては妥当性のあるセキュリティ対策を施す。

一方、AIロボットは下記に示すように、産業用ロボットとは一部異なる安全対策が必要だ。

• AIロボットには様々な特定タスクを作業させるため、２足・４足歩行といった可動式タイプが多く、また人との協働作業が求められるケースが少なくない。このため、産業用ロボットでよく見かけられるような安全柵といった安全対策は採用しづらく、産業用ロボットよりも高度なセーフティ機能が必須となる。
• AIロボットには、推論ミスに伴う誤動作、つまり決定論的事象に伴う誤動作が内在する。このような誤動作への対策としては、フェールセーフ、フェールソフト、フェールオーバーといったセーフティ設計が重要となる。また、セーフティ機能は、推論よりも優先して動作させるなどの実装上の工夫も必要となる、
• AIロボットにおいてもハッキングによる誤動作というリスクがあるため、産業用ロボットと同様に、網羅的なセキュリティリスク分析と妥当性のあるセキュリティ対策が重要だ。ただし、AIロボットは産業用ロボットに比べ、攻撃されるポイントが多く、広範囲なリスク分析とセキュリティ対策が求められる。たとえば、AIロボットで推論ミスを誘発させるようなクラウド上の不正な学習データ書き換えも考慮する必要があるだろう。また、この推論ミス対策では、大きな事故につながるところはセーフティ機能で対策し、安全性に影響しない微妙な品質不良につながるところはクラウド・AIロボットのセキュリティ機能で対策するなど、セーフティとセキュリティの同時検討が必要となるだろう。
• AIロボットではバックドア対策も必須だ。これに関してはAIロボットメーカーだけではなく、AIロボットユーザ側の対策も重要だ。 

5. 安全対策の進め方

最後にAIロボットメーカーの安全対策の進め方を説明しよう。安全対策を適切かつ低価格に実施するには、俗人的な対応ではなく、論理に裏打ちされた実績のある平準化された安全規格への準拠が必須となる。安全法令には製造物責任法・サイバーレジリエンス・機械規則などが存在するが、そこで求められているのは、正にこのような安全規格への準拠だ。安全規格は、安全対策を２段階で実施することを求めている。大まかに言うと、１段目はリスク分析・対策検討を実施できる仕組みの確立（ISO9001やIEC62443を参照）、２段目はリスク分析・対策検討の実施だ。

１段目の実施内容を下記に記す。これは通常、２、３年を要する。この１段目を十分に実施すれば、安全品質が向上するだけでなく、手戻りやロスコストも少なくなる。

• 適切な人材採用・育成が重要だ。AIロボットの普及は想像以上に早く来る。AIロボットを安全に扱える人材を早急にアサインしないと、AIロボットの開発や導入が遅れ、企業競争力が削がれてしまうだろう。これはAIロボットユーザ側も同様だ。
• 人材育成としては特に教育が重要だ。技術者のセーフティ・セキュリティ知識が不十分なままでは安全性の確保は不可能だ。また、教育未実施の企業は訴訟ともなれば、実力不足が疑われ不利となるだろう。これに関しては幸いに、多くの国内メーカーが教育を実施中だ。実際に筆者は直近の６年間で国内技術者延べ15,000名以上の方々に高度な製品セキュリティ教育を実施した。
• 教育と並行して、安全な開発環境・クラウド環境の確保、セーフティ・セキュリティ開発ルールの策定、安全規格に準じた開発プロセスの構築、およびレビュー体制の構築を早期に実施する必要がある。これ以外に、工場・サプライチェーン・メンテナンスといった関連プロセスのルール整備も必要となる。なお、AIロボットの安全対策では、セーフティとセキュリティがオーバーラップするところがあるため、セーフティ・セキュリティの開発ルールが策定済みであっても見直しは必要となるだろう。

次に、２段目のリスク分析・対策検討に進む。これは通常、１年以上を要する。ここで注意が必要なのは、AIロボットの安全性の脅威には、自社のみの脅威（たとえば工作ノウハウの流失）とユーザを巻き込む脅威（たとえば不良品の生産）の２種類があることだ。ユーザに被害が及べば、原因が過失・故意（ハッキング）に関係なく、安全法令に基づき大きな制裁金や損害賠償金を課せられるとともに、ブランド価値も失墜する。したがって、リスク分析・対策検討においては、少なくともユーザ被害につながるリスクは見逃さないように、論理的、かつ網羅的なリスク分析を実施し、妥当性のある対策を施さなくてはならない。思い付きや我流のリスク分析・対策検討では社会に釈明できないだけでなく、訴訟において法令が求める立証責任を果たせずに窮地に陥ることだろう。AIロボットの利活用は効果が大きい分、その副作用も大きいことを肝に銘じておきたい。