【弁護士解説】日本の企業も知っておきたい…！EUのAI規制法案の概要について（３／３）

執筆：弁護士 森川そのか　（AI・データ（個人情報等）チーム）

　前回までは、「EU AI規制法制定の経緯とスケジュール」、「EU AI規制法の日本への影響」及び「EU AI規制法の規制範囲と対象」について見ていきました。第3回ではEU AI規制法の「リスクベースアプローチによる規制内容」について検討していきます。

第１章　EU AI規制法制定の経緯とスケジュール　　（第１回についてはこちらから）
第２章　EU AI規制法の日本への影響　　（第１回についてはこちらから）
第３章　EU AI規制法の規制範囲と対象　　（第２回についてはこちら から）

本稿が皆様の今後の事業の発展の一助になれば幸いです。
（※本記事は2023年6月8日現在の情報をもとに作成しています。）

第４章　リスクベースアプローチによる規制内容
ａ．リスクに基づく4つの分類
ｂ．ハイリスクAIシステムに該当する場合に求められる要件及び義務
最後に

第４章　リスクベースアプローチによる規制内容

　EU AI規制法案では、リスクに応じて規制内容を変える「リスクベースアプローチ」を採用しています。リスクベースアプローチでは、AIシステムを以下の４段階のリスクに分類しています。

①「PROHIBITED ARTIFICIAL INTELLIGENCE PRACTICES」＝「禁止されるAI」

②「HIGH-RISK AI SYSTEMS」＝「ハイリスクAI」

③「限定リスクAI」

④「最小リスクAI」

　本稿では主に①「禁止されるAI」及び②「ハイリスクAI」について解説していきます。

ａ．リスクに基づく4つの分類

ｉ．「禁止されるAI」（Ⅱ編5条～）

　これは「許容できないリスク」があるため、開発・運用が禁止されているものになります。この「禁止されるAI」は更に以下の４つの類型に細分化されます。

(a)　サブリミナルな技法を展開するAI

(b)　利用者の脆弱性を利用するAI

(d)　法執行を目的とした公にアクセスできる場所におけるリアルタイム遠隔生体識別システム

以下、一つずつ見ていきます。

(a)　サブリミナルな技法を展開するAI

（a）その者又は別の者に精神的な又は身体的な害を生じさせ又は生じさせるおそれのある態様でその者の行動を実質的に歪めるために、その者の意識を超えたサブリミナルな技法を展開するAIシステムを市場に置き、サービスを提供し又は利用すること。

　例えば、ユーザーの思考や行動を分析しその人の思考パターンに即した犯意を誘発するプログラム等のように意図的にサブリミナル技術を使用した類型のAIであれば該当します。

　他方で、意図せずサブリミナル効果を生じさせてしまった場合についてはそもそも規制の対象となるのか、なるとしてどの範囲までなのか等について明確化されていません。後者の類型については例えばオーディオビジュアルコンテンツやゲーミング、マーケティングのCM等でサブリミナル効果が意図せず生じる可能性のあるAIシステムなどが考えられます（※１）。また、特に生成AIは事実と異なる情報を撒き散らす「ハルシネーション（幻覚）」の問題が懸念されています。このハルシネーションによってサブリミナル効果を生じさせる可能性もゼロとは言えません。

　後者の類型の禁止の有無は具体的な基準の制定を待つこととなりますが、EUの動向やそれに伴う企業の留意事項等につきましては、弊所でも引き続き情報収集及び検討を続けて参ります。

(b)　利用者の脆弱性を利用するAI

（b）その者又は別の者に精神的な又は身体的な害を生じさせ又は生じさせるおそれのある態様で、その年齢、身体的障害又は精神的障害による脆弱性のある特定の人々のグループに属するその者の行動を実質的に歪めるために、当該グループの人々の脆弱性を利用するAIシステムを市場に置き、サービスを提供し又は利用すること。

　これは例えば教育系AIなどが子供を洗脳して犯意の誘発・偏った思想の助長などを行う例が挙げられます。もっともこちらにつきましても上記(a)と同様に意図せぬサブリミナル効果の排除の限界との関係で規制の範囲が問題となってきます。

（c）次のいずれか又は双方を招くソーシャルスコアを伴う、自然人の社会的行動又は知れている若しくは予測された個人的な若しくは人格の特徴に基づいて、一定の期間にわたり自然人の信頼性を評価し又は分類するために、公的機関が、又は公的機関のために、AIシステムを市場に置き、サービスを提供し又は利用すること。

（i）当該データがもともと生成され又は収集された文脈と関係がない社会的な文脈における、一定の自然人又はそのグループ全体に対する有害な又は不利な取扱い
（ii）一定の自然人又はそのグループに対する有害な又は不利な取扱いであって、正当化されず、又はこれらの人々の社会的行動若しくはその重大さと比べて比例していないもの

　例えば政府がAIシステムを利用して国民を統制、大規模監視、ランク付け、あるいは移動の自由を制限する場合など（※２）が挙げられます。

　本条は「公的機関が、または公的機関のために」との文言があるため、民間企業がソーシャルスコアリングを目的とするAIシステムを公的機関に提供する場合も含まれるでしょう。

(d)　法執行を目的とした公にアクセスできる場所におけるリアルタイム遠隔生体識別システム

（d）法執行を目的として、公にアクセスできる場所において、「リアルタイム」遠隔生体識別システムを利用すること。ただし、…（以下略）

　犯罪捜査のために国家が顔認証AIなどを使用する場合がこれに当たります。もっとも、法執行機関が自らの施設を警備するケースや、民間企業のAIシステムが不審な兆候を検出した際に法執行機関に通報するケースも含まれるのか等については現状不明確（※３）です。また、公的にアクセスできる空間（publicly accessible spaces）の対象範囲についても具体的には定められていません。また、どこからが「遠隔」なのかも定まっていません。そのため生体識別システムを開発する場合はそもそも「禁止されるAI」に当たるかについて慎重に検討・確認する必要があります。

ⅱ．「ハイリスクAI」（Ⅲ編　第1章　第6条～）

ハイリスクAIは、

①　Ⅲ編第Ⅰ章第6条1項に該当するもの

②　同条第2項に該当するもの

の、2つの類型に分けられます。以下詳しく見ていきます。

①　6条1項に該当するもの

6条1項
AIシステムは、第(a)号及び第(b)号に定める製品から独立して市場に置かれ又はサービスを提供したか否かにかかわらず、次に掲げる条件の双方が満たされた場合に、ハイリスクとみなされるものとする。
（a）AIシステムが、付属書IIに定めるEUの調和の取れた法令の対象となる製品のセーフティコンポーネントとして使用されることを意図されている、又はそれ自体が当該法令の対象となる製品であること。 　
（b）AIシステムをセーフティコンポーネントとして使用する製品、又は製品としてのAIシステム自体が、付属書IIに定めるEUの調和の取れた法令に従って、当該製品を市場に置き又は当該製品がサービスを提供する目的のために第三者適合性評価を受ける必要があること。

これによると、①のAIは、

その１

（ア）指定の法令が定める製品のセーフティコンポーネント（＝安全性の確保）のためにAIシステムが用いられている場合、

または

（イ）指定の法令の対象となる製品である場合であって

かつ、
その２
第三者適合性評価を受ける必要性がある

ものを指します。指定の法令は以下の製品に関連するものが含まれます。

A節
機械、玩具、娯楽用船舶、昇降機、無線機器、圧力機器、旅客用ロープウェイ、個人用保護具、ガス状燃料を燃焼する機器、医療機器、体外診断用医療機器

B節
民間航空、二輪車、三輪車及びクアドリサイクル、農業用及び林業用車両、船舶用機器、鉄道システム、自動車及びそのトレーラー、並びにこれらの車両用のシステム、構成部品及び単体技術ユニットの認証及び市場監視

　大まかにまとめると、人間の生命・身体の安全確保が大前提となる機械類や乗り物が対象となっていると言えます。したがって、自動運転AIなどもここに含まれます。例えば、日本の企業が自動運転AIを開発し、それを海外展開する場合などはハイリスクAIに該当する可能性を検討する必要がありそうです。

　他方で、「安全コンポーネント」の保守・保全を支援する診断AIにおいて、AIのアウトプットが強制的に採用されることはなく、AIのアウトプットの情報をもとに人が判断を行うものについてはハイリスクAIに含むべきでないという意見もあります（※４）。この点につきましてもさらなる解釈が待たれることになりそうです。

②　6条第2項に該当するもの

6条2項
第1項に定めるハイリスクAIシステムに加えて、付属書IIIに定めるAIシステムも、ハイリスクとみなされるものとする。

以下の用途で使用されるAIシステムもまた、ハイリスクAIに含まれます。

付属書Ⅲ（要約（※５））
1. 自然人の遠隔生体識別及び分類
2. 重要なインフラの管理及び運営（例：道路交通、水道、ガス、電気の供給管理・運営など）
3. 教育及び職業訓練へのアクセスの可否の決定（例：入学試験の採点など）
4. 雇用、労働者の管理、自営業へのアクセスの可否の決定（例：採用手続き用の履歴書分類ソフトウェア、昇進及びリストラ対象の決定ソフトウェアなど）
5. 必須の民間および公共サービスへのアクセスの可否の決定（例：信用スコアリングにより国民が融資を受ける機会を拒否する）
6. 人々の基本的権利を妨害する可能性のある法執行機関（証拠の信頼性の評価など）
7. 移住、亡命、国境管理の管理（渡航書類の信頼性の検証など）
8. 司法および民主的プロセスの管理（具体的な一連の事実に対する法律の適用など）

　上記をふまえると、人間の身体及び生命の安全性、自己決定権の確保、民主主義及び適正手続の維持の観点から用途が特定されているようです。

　もっとも、例えば１の場合、個人を特定せず一時的に顔や体の特徴を抽出して分類するシステム(例：民間企業がマーケティングに活用するために、店舗内の個人に着目しない顧客動線を総体として把握するAIシステム）はハイリスクAIの「リモート生態認証システム」に該当するかについて現時点では不明確です。

　このように、規制の対象範囲や根拠、リスクの測定・評価方法については曖昧な部分が多く、思わぬところでハイリスクAIに該当する可能性が潜んでいそうです。

ⅲ．「限定リスク（※６）」・「最小リスクAI」

　EU議会の見解によると、現在使用されているAIシステムの大部分はこれらに分類されるようです（※７）。たとえば、自動翻訳、「エウレカマシン」、ゲーム機、反復的な製造プロセスを実行するロボットなども含まれます。

　もっとも、上述の通りハイリスクAIの範囲は不明確であるため、自社のAI搭載サービスが、EU議会の見解通り「現在使用されているAIシステムの大部分」に含まれ、限定リスク・最小リスクAIとして扱われるかについては慎重に判断する必要があります。

ｂ．ハイリスクAIシステムに該当する場合に求められる要件及び義務

ｉ．概要

　ハイリスクAIに該当した場合には提供者には事前に適合性評価手続を経る義務（19条）が課されます。もっとも、整合規格・共通仕様を守れば、要件遵守が推定されます（40条、41条）。

　また、適合性評価機関については6条1項のハイリスクAIについては第三者機関が、6条2項のハイリスクAIについては自社で行います。

　上記適合性評価等を経て、要件遵守が証明された場合においては、提供者は、EU適合宣言書を作成し、また、適合性のCEマーキングを付す（19条、48条、49条）こととなります。こうして初めて市場でのサービス提供が可能になります。

以下、主な要件及び義務について紹介していきます。

ⅱ．要件

主な要件は以下のとおりです。

●リスク管理システムの構築（9条）

　提供者はリスク管理システムを構築、導入をし、文書化して維持する必要があります。

●データガバナンス（10条）

　品質基準を満たす学習用、検証用及び試験用データセットに基づいて、これを開発することが求められます。すなわち学習用教材等についても一定程度の品質が求められることになります。

●技術文書の作成（11条）

　技術文書は、ハイリスクAIシステムがこの章に定める要件を遵守していることを証明し、並びにAIシステムがそれらの要件を遵守していることを評価するために必要な全ての情報を加盟国所管機関及び第三者認証機関に提供する方法で作成します。

●記録保持（12条）

　その動作中に出来事の自動的な記録（「ログ」）を可能にする機能を備えるように、これを設計し及び開発します。

●他にも、透明性及び利用者への情報の提供（13条）人間による監視（14条）正確性、頑健性及びサイバーセキュリティ（15条）などが求められます。

ⅲ．提供者の義務

　上記の要件遵守の他、是正措置に従うこと（21条）、リスク内容の情報提供義務（22条）等があります。

　また、EU AI規制法案では製造者、輸入者、販売者、利用者の義務についても定められています。特に製造者、輸入者、販売者には上述した要件遵守の義務が課されるため、例えば企業が「提供者」に当たる場合は製造者、輸入者、販売者らとは個別契約で要件不遵守があった場合の責任の所在などを定める必要が生じるかもしれません。

　上記の要件・義務をふまえると、企業がこれらの手続きを遵守することは時間及び費用の面でかなりの負担になることが予想されます。もっとも、違反時は多額の制裁金を課されるため遵守しない選択肢は実質ありません。

　したがって、たとえEU域内に拠点のない日本企業であっても、自社のサービスがハイリスクAIに該当する可能性が少しでもある場合はEU AI規制法の適用の有無、リスクの類型、必要とされる手続き等について慎重な検討を行うことが望ましいです。