「プロファイリングに関する自主的規律導入支援の実践」（工藤郁子） #JSAI2019

プロファイリングに関する
自主的規律導入支援の実践
PHP総研主任研究員
東京大学未来ビジョン研究センター客員研究員
工藤郁子
OS-6 人工知能と倫理
2019年6月7日（金）
人工知能学会全国大会（第33回）
於朱鷺メッセ新潟コンベンションセンター

自己紹介
 パブリック・アフェアーズのコンサル
ティングを行うマカイラ株式会社など
を経て現職
 一般社団法人日本ディープラーニング
協会有識者会員、Beneficial AI Japan
運営委員、ISO/PC317国内審議委員会
委員なども務める
 共著に、山本龍彦編『AIと憲法』日本
経済新聞出版社（2018年）、弥永真
生・宍戸常寿編『ロボット・AIと法』
有斐閣（2018年）など
2

3
Agenda
1. プロファイリングをめぐる社会的課題
2. プロファイリング提言案と中間報告書
3. 自主的規律導入に関する考察と今後の展開

4
Agenda

プロファイリングの広がり
 広告のターゲティングだけでなく、与信、採
用・人事などの利用にも
 特に「信用スコア」が、諸外国だけでなく国内
でも
○ みずほ銀行とソフトバンクが共同開発した
信用スコア「J.Score」が運用開始
○ メルカリが、子会社のメルペイで信用スコ
ア事業を推進していくことを明言
○ ヤフーが7月から「Yahoo!スコア」提供開
始予定
※ 本報告ではプロファイリングを「パーソナルデータとアルゴリ
ズムを用いて、特定個人の趣味嗜好、能力、信用力、知性、振舞い
などを分析または予測すること」とさしあたり定義する。GDPR4
条4項とは異なる。
5

「炎上」リスクの高まり
 アルゴリズムが、個人の自由で主体的な生活・
人生に重要な影響を与えうる
 企業にとっては「炎上」リスク
 アマゾン社が開発した採用目的のプロファイリ
ングに性差別の傾向が見られたことが報道
6https://jp.reuters.com/article/amazon-jobs-ai-analysis-idJPKCN1ML0DN

7
https://togetter.com/li/1363080
https://www.asahi.com/articles/ASM634WNNM63ULFA00J.html

プロファイリングに関する規律
 欧米を中心に、法的・技術的な規律の導入も進んでいる
○ 例えば、2018年5月に適用開始されたEU一般データ保護規則
（General Data Protection Regulation: GDPR）では、プロファ
イリング(※)を規律
 しかし、日本では、現状において具体的指針はない
○ どのような点に注意すれば、プロファイリングを実施したい技
術者・企業が法的・社会的責任を果たしたといえるか、必ずし
も明らかではない
○ 規律がないことが、かえって健全な技術開発や事業展開の歩み
を妨げているのではないか
 自主的な規律が必要
○ 特に、個人の自由で主体的な生活に重要な影響を与えうるもの
に焦点をあてる
※ GDPRでは「自然人に関する特定の個人的側面を評価するために、特に、当該自然人の職
務遂行能力、経済状況、健康、個人的選好、関心、信頼性、行動、位置もしくは動向を分析
または予測するために、パーソナルデータを用いて行うあらゆる形式の自動化されたパーソ
ナルデータの処理」と定義（4条4項） 8

9
Agenda

経緯と体制
 2016年5月、「パーソナルデータ+α研究会」開始
○ 株式会社商事法務/公益社団法人商事法務研究会の後援
○ 隔月ペースで会合を実施
○ パーソナルデータ全般（プロファイリング以外も含む）を検討
 2018年5月、同研究会内に「プロファイリングに関する提言案作成
タスクフォース（TF）」を設置
 TFで素案をドラフトし、研究会参加者にコメントしてもらう
○ 国内外の法規制について、TFの弁護士を中心に検討
○ 日本の個人情報保護法制下におけるプロファイリングの取
扱いについて分析した上で、EU法及びアメリカ法の規制
を整理
○ 実務家を中心に（法規制に限らない）論点を整理
○ 各種のAI倫理指針、研究論文、報道記事などの文献調査
○ 企業・関係団体へのヒアリング、官公庁との非公式な意見
交換も実施
 5月、7月、9月、11月の会合で検討し、メールや Google Document
を通じて意見を集約し改定を進める
10

参考：パーソナルデータ＋α研究会参加者
11
 荒井ひろみ理化学研究所革
新知能統合研究センター
 市川芳治慶應義塾大学
 大島義則弁護士
 大屋雄裕慶應義塾大学
 楠正憲 Japan Digital Design
 栗田昌裕名古屋大学
 小林慎太郎野村総合研究所
 坂下哲也日本情報経済社会
推進協会（JIPDEC）
 佐久間淳筑波大学
 宍戸常寿東京大学
 寺田麻佑国際基督教大学
 中川裕志理化学研究所革新
知能統合研究センター
 中川隆太郎弁護士
 中西崇文武蔵野大学
 原田大樹京都大学
 藤田卓仙世界経済フォーラム
第四次産業革命日本センター
 松尾陽名古屋大学
 松前恵環駒澤大学
 吉川徳明メルカリ
 横田明美千葉大学
事務局：
 山本龍彦慶應義塾大学
 生貝直人東洋大学
 石井夏生利筑波大学
 工藤郁子マカイラ
 成原慧九州大学
 小林史明明治大学
 菅谷麻衣常葉大学
 西村友海慶應義塾大学大学院※ 敬称略。所属は2018年12月時点。青字はTFメンバー。
※ 参加者の所属組織の意見ではなく、各個人の知見を持ち寄っての提言
。

成果物の公表と意見募集
 2019年12月、提言案と提言案付属中間報告書を公表
 最終報告書（今年度内の予定）の中間とりまとめという位置づけ
 意見公募も実施（https://www.shojihomu-portal.jp/nbl20190222）
12

3つの提言案
 企業: プロファイリングに関するコンプライアンス体制等の整備
○ プライバシーだけでなく平等・公正との関係でも問題に
○ プロファイリングの実施・活用等に伴う社会的・倫理的責任に
配慮した体制づくりに努めるべき
 業界団体等: プロファイリングに関する自主的な取組みの支援
○ ガイドライン等の作成の検討を推奨
○ プロファイリングの対象となる個々の利用者・生活者等と企業
の間に立って、利害関係の調整や課題解決を目指す
 政府: 民間主導の自主的な取組みの尊重
○ まずは「対話」
○ プロファイリングによる個人の権利利益の侵害リスクを看過し
得なくなった場合に、それを抑止するために必要な立法措置等
を検討
13

19項目のチェックリスト
 プロファイリングの実施に際して、企業
が法的・社会的責任を果たすための留意
点を抽出
○ 海外の政策動向や事例なども踏まえ
た「自主的取組みに関するチェック
リスト」
 実施工程に合わせて4段階に区分
○ （1）企画・設計、（2）データの取
得、（3）データの加工・分析・学習、
（4）実装・運用・評価
 企業が考慮すべき度合い（優先度）を3段
階で表示
○ 「★★★」＞「★★☆」＞「★☆☆」
の順に優先度が高い
14

15
1 企画・設計段階
1-1プロファイリング導入の適否
判断 ★☆☆
1-2プロファイリングの実施の有
無・利用目的の明確化 ★★★
1-3エシックス・バイ・デザイン
の導入検討 ★★☆
2 データの取得段階
2-1データの適正な取得 ★★★
2-2データ取得時のユーザー・イ
ンターフェース等の工夫 ★☆☆
2-3データセットの偏向に関する
配慮 ★★☆
3データの加工・分析・学習段階
3-1分析・評価段階におけるプラ
イバシー侵害リスクの検討 ★★★
3-2公平性に配慮した学習技術の
導入検討 ★★☆
3-3アカウンタビリティ（答責性
）に配慮したモデルの導入検討
★★☆
3-4その他の社会的価値への配慮
★☆☆
4 実装・運用・評価段階
4-1人間関与原則の検討 ★★★
4-2答責性への配慮 ★★★
4-3安全管理措置の実施 ★★☆
4-4データ内容の正確性の確保
★★☆
4-5開示・訂正等の手続きの整備
★★★
4-6プロファイリングに関するリ
テラシー向上 ★☆☆
4-7被評価者等の反応の精査・検
討 ★☆☆
4-8信用スコアを第三者提供する
手続きの確認 ★★☆
4-9監査可能性への配慮 ★☆☆

16
判断 ★☆☆
配慮 ★★☆
★★☆
★☆☆
★★☆
★★★
討 ★☆☆
一例として

4-2 答責性への配慮 ★★★
答責性（accountability）に配慮すること
 どんな内容を、どの程度まで説明すれば責任を果たしたことになる
か、いまだ社会的合意はない
○ 【ケースH】参照
 AIのプロファイリングにのみ、答責性を求めるのは均衡を欠くとの
指摘もある
○ 例えば、人間の採用担当者であれば不採用理由を開示しなくて
も問題視されない現状をどう捉えるか？
 当研究会では、決定の過程（決定を導くデータを含む）について、
被評価者や他のステークホルダーに非専門用語で説明できるかどう
かを検討することを推奨
○ プロファイリングの過程や評価理由が不透明であれば、何が評
価の基礎になるのかがわからず、将来の行動計画を練れなくな
り、自律的・主体的に自らの人生を歩んでいくことが困難にな
るため
17

4-2 答責性への配慮 ★★★（つづき）
 当研究会では、当面のベンチマークとして、苦情対応時などに、被
評価者が理解し得るような「理由（justification）」を示すことを推
奨
○ ここで被評価者に事後提示される「理由」は、実際の決定過程
を完全に反映したものである必要はない
 別のアプローチとして、【ケースI】も参照
○ 関連して、決定理由を人間に提示できる「説明可能なAI」（
Explainable AI: XAI）にも注目
○ なお、米国のGoogleが公表している解釈可能性（
interpretability）に関するベスト・プラクティスも参照
https://ai.google/education/responsible-ai-
practices?category=interpretability
18

19
ケースH 再犯リスク予測プログラムとアルゴ
リズムの透明性
◎ 米国では一部の州で有罪確定者の再犯リスク予測プログラムが用い
られている。
◎ ただし、このプログラムのアルゴリズムが明らかにされていないた
め、バイアスがあるのではないかとの批判もある。例えば、ある再
犯リスク予想プログラムでは、アフリカ系をヨーロッパ系よりもリ
スクを高く評価するが、アフリカ系たちが実際に再犯をした割合は
半分以下であったという調査も報告されている。
◎ データやアルゴリズムのバイアスに関しての検証をするためにも技
術システムの透明性や答責性が開発側には求められている。

20
ケースI 信頼の構築
◎ ディープラーニングの進展に伴う説明困難性を受け止め、「信頼（
trust）」や「信用（fiduciary）」の構築を重視する立場もある。
◎ 例えば、医薬品の作用機序を十分に理解していなくても、医師や薬
剤師の勧めに従って服薬することが一般的である。これは、高い能
力・専門性を備えた医師等に任せた方が合理的であるという考えや
、国家資格による認証や専門職集団の行動規範（code of conduct）
による制約などが制度的に担保されているから信じるに足るとの考
えが背景となっていよう。
◎ このような信頼構築のための規律構造をAI化社会においても実現し
ようとする試みが存在する。

アウトリーチ
21
https://twitter.com/nikkei_legal/status/1097275188872282113https://www.asahi.com/articles/DA3S13904119.html

23
Agenda

策定過程での発見
24
 企業等がプロファイリングに関する自主的規律の導入に前向きであ
ることがわかった
○ レピュテーション・マネジメントの観点から有益であるためと
みられる
 プライバシーについては対応実績のある企業・組織であっても、平
等・公正に係る対応は（まだ）あまりなく、今後の規律形成が待た
れていることがわかった
※ 策定にあたって、以下の企業・組織にヒアリングに協力いただいた
○ 一般社団法人ピープルアナリティクス＆HRテクノロジー協会
○ 一般財団法人日本情報経済社会推進協会
○ 株式会社メルペイ

規律導入の支援
25
https://www3.nhk.or.jp/news/web_tokushu/2018_0611.html

規律導入の支援？
26
内閣官房「シェアリングエコノミー検討会議第2次報告書」
http://www.kantei.go.jp/jp/singi/it2/senmon_bunka/shiearingu/dai2ji-houkokusho.pdf

おわりに
 チェックリスト等が、自主的な取組みの「たたき台」として活用さ
れることを期待
○ 提言案は、全般的な留意事項を例示列挙するにとどまる
○ 業界別（与信、採用・人事、教育など）の個別事情を反映した
チェックリストは、関心のある業界の方に策定してもらうこと
が望ましい
 苦情処理手続きなどの具体的なガバナンスのあり方について、さら
に検討すべき
○ 業界団体等による苦情処理の仲立ちや、インシデントの情報共
有、原因分析の支援などが想定される
○ 認証や資格もありうる選択肢であり、その場合は、“Ethics
guidelines for trustworthy AI” の assessment list を意識すると
標準化が図れるかもしれない
 今後も関係者との情報共有・意見交換を続け、プロファイリングの
健全な実装に資する情報や議論を提供していきたい
28

Thank you for your attention
Please contact me if you have any questions
You can find me at
@inflorescencia on Twitter

30
Appendix
「自主的取組みに関するチェックリスト」

31
判断 ★☆☆
配慮 ★★☆
★★☆
★☆☆
★★☆
★★★
討 ★☆☆

32
判断 ★☆☆
配慮 ★★☆
★★☆
★☆☆
★★☆
★★★
討 ★☆☆

1-1 プロファイリング導入の適否判断 ★☆☆
企画・設計の段階で、プロファイリングの導入により
実現される価値・利益を明確に整理しておくこと
◎ AIの導入自体が目的化してしまっていないか？
○ 動作の安定性、経済的合理性、サンプル数などの理由で、プロ
ファイリング以外の手法を利用する方が有効な場合もある（【
ケースA】）
◎ 被評価者(※)に提供できる利益・価値も明確に
○ プロファイリングを導入する者（例えば採用担当者）と被評価
者（例えば入社希望者）の利益は、必ずしも一致しない
○ 被評価者の利益・価値について、例えば、金融分野において、
従来の審査方法であれば与信を受けられなかった者がプロファ
イリングによって与信を受けられるようになること、人事分野
において、これまで偏見等によって類型的に不採用とされてき
た少数派が偏見を回避し採用の可能性が新たに拓かれることな
どが想定される
※ 「被評価者」とは、プロファイリングの対象となる個々の利用者・生活者等のこと
33

34
ケースA ワシントンDCの教師評価ツール
◎ ワシントンDC市は、「IMPACT」という教師評価ツールを導入し、
2009〜2010年の学年度末に、評価スコアが学区内の下位2％に入る
教師を全員解雇した。翌年にはさらに下位5％相当の206名を解雇し
た。
◎ IMPCTでは、数学と国語（英語）の教育能力を測定するために、生
徒の学力の向上に対する当該教師の貢献度を算出する「付加価値モ
デル」によるアルゴリズムを採用していた。当該アルゴリズムによ
る評価スコアが評価全体の半分近くを占めており、学校経営陣や地
域コミュニティから高評価を受けていたとしても、解雇される場合
もあった。
◎ しかし、生徒の成績は数多くの変数が関係する上に、1年度かつ
25~30名分のテスト結果ではサンプル数が少なすぎること、解雇に
よりシステムのエラーフィードバックがとれずアルゴリズムの微調
整ができないことなどから、「付加価値モデル」の有効性を疑問視
する声もある。

1-2 プロファイリングの実施の有無・利用目
的の明確化 ★★★
どのようなプロファイリングを、どのような目的のた
めに実施しているかを明確にすること
◎ ①そもそもプロファイリングを実施しているか、
②実施している場合に、どのような種別・内容の
プロファイリングを実施しているか、の2つを想定
○ 実装段階における通知・公表を想定して、企画・設計段階から
、明確化しておいた方がよい
◎ 本研究会では、①②を明示し、プロファイリング
の実施目的を明確化することを推奨
○ 個人情報保護法15条1項の趣旨にも合致するため
35

1-3 エシックス・バイ・デザインの導入検討
★★☆
法的・倫理的なリスクを抑制する設計を検討すること
◎ 仕様が固まっていない段階から、法的・倫理的な
検討をすることは、開発者や企業にとって負担に
なるかもしれない…
◎ しかし、法的・倫理的なリスクを管理し、社会的
信頼を獲得できるという面もある
◎ 近年、法的・倫理的な観点に配慮した「デザイン
」の規格化も検討されている（【ケースB】）
○ 「AI指導原則」(※)4条でも、Privacy by Default や Privacy by
Design を含む「Ethics by Design」により、アルゴリズム等が
責任をもってデザインされ、開発されるべきと指摘
※ 「AI指導原則」とは、第40回データ保護プライバシー・コミッショナー国際会議において
、公表された「AI における倫理及びデータ保護についての宣言」（2018年10月23日）のこ
とを指す（cf. https://www.ppc.go.jp/files/pdf/181114_shiryou2-2.pdf ）。
36

37
ケースB IEEE「倫理的に調和された設計」
◎ 学術団体であるIEEEのグローバル・イニシアティブは、「倫理的に
調和された設計（Ethically Aligned Design）」という報告書を公開
した。
◎ 報告書の著者らを中心として、「標準規格（P7000シリーズ）」の
策定が目指されている。
◎ データプライバシーの処理（P7002）、アルゴリズム上のバイアス
に関する考察（P7003）、子供と学生のデータガバナンスに関する
標準（P7004）、透明性のある雇用者のデータガバナンスに関する
標準（P7005）、機械可読のパーソナルプライバシー条項の標準（
P7012）など、プロファイリングと関連が深いものもある。

38
判断 ★☆☆
配慮 ★★☆
★★☆
★☆☆
★★☆
★★★
討 ★☆☆

2-1 データの適正な取得 ★★★
プロファイリングのために使用するデータ（インプッ
トデータ）を適正に取得すること
◎ 個人情報に該当するなら「適正な取得」（個人情
報保護法17条1項）を行う必要
○ プロファイリングの実施や利用目的について虚偽の情報（プロ
ファイリングを実施しているのに「実施していない」と表示す
ることなど）を与えてはならない
○ プロファイリングの実施等について曖昧な情報を与えることで
インプットデータを取得することも、避けるべき
◎ インターネット等により公開されている個人情報
（例：SNSの投稿）をプロファイリングに用いる
場合、同法17条1項との関係を検討すべき
○ 例えば、クローリングを拒絶する意思表示がなされているにも
拘らず、これをプロファイリングに用いた場合など
39

2-1 データの適正な取得 ★★★（つづき）
◎ 人種・信条・社会的身分等の「要配慮個人情報」
（同法2条3項）は、原則として本人の同意を要す
るオプトイン方式を採用する必要（同法17条2項）
◎ また、機微情報（センシティブ・データ）など、
取得自体が問題になるデータもある
○ cf. 「金融分野における個人情報保護に関するガイドライン」
◎ 特に、「生まれ」に関連する情報は、本人に帰責
できず自己責任原則との関係で問題となりうるの
で、慎重な検討を期待
○ cf. 米国の遺伝子情報差別禁止法（GINA）
◎ 遺伝情報は、血縁者などで共通する部分もあるた
め、「グループ・プライバシー」への影響を検討
することが望ましい
○ アルゴリズム上の配慮も推奨（後掲（2-3）参照）
40

2-2 データ取得時のユーザー・インターフェ
ース等の工夫 ★☆☆
データ主体の意思決定を実質的に支援するための工夫
を行うこと
◎ プライバシー・ポリシー等を、簡潔で理解しやす
く、容易にアクセスし得る形態で提供することを
推奨（【ケースC】）
○ データ・ポリシーやプライバシー・ポリシーが難解で長文であ
り、IoTなどの進展も考慮すると、人間の認知限界を超えると
の問題意識が示されている
◎ UX/UIにおける工夫を、グッド・プラクティスとし
て検討・共有していくことも期待
○ GDPR 12条のいう「明瞭かつ平易な言葉を用いた、簡潔で、透
明で、理解しやすくかつ容易にアクセスし得る形態」
41

42
ケースC 設定画面のリニューアル
◎ 2018年3月、Facebook は、モバイル上の「設定」メニュー全体の
デザインを見直し、プライバシー、セキュリティ、広告など約20に
分散していた設定画面の集約を行い、1つの画面からすべての設定
をできるように変更した。
◎ メニュー画面は、イラストなども用いながら簡明な説明を心がけた
とされている。

2-3 データセットの偏向に関する配慮 ★★☆
データセットの偏りをチェックすること
◎ 収集されたデータの偏りや、これまで現実に存在
してきた差別が、反映・継承されてしまうおそれ
○ データは、（フィジカルな世界の）事象・現象の一部分を切り
取ったものであるため、偏りが生じたり、特定のコミュニティ
の傾向が過少・過剰に代表されてしまうリスクがある（【ケー
スD】）
○ 「現実」が偏ってきたためにバイアスが生じることもあり、「
公正さ（fairness）」との関係で配慮が必要となることも（【
ケースE】）
◎ 個人だけでなく、集団に対するネガティブな影響
もありうる
○ 一人一人に対するネガティブな影響だけでなく、グループへの
ネガティブな影響についても考慮することを期待（AI指導原則
1条b項参照）
43

44
ケースD 過少代表による道路状況調査の地理
的偏向
◎ ボストン市は、「Street Bump」というアプリを開発し、市民のス
マートフォンから得られるGPSデータ等を利用しつつ、市内の道路
状況（路面のくぼみなど）の報告を受けることで、道路修補工事の
予測に役立てる仕組みを構築した。
◎ しかし、この調査結果に依拠すると、工事が高所得者の居住エリア
に集中してしまうことが判明した。これは、高所得者と低所得者で
スマートフォンの所持率に差異があり、低所得者の居住エリアから
の情報が過少に代表されてしまったためである。
◎ なお、ボストン市は、このアプリをまず市職員に利用させ、一般市
民からのデータは補助的に使うことで問題に対処しているという。

45
ケースE 過少代表とバイアス承継問題による
、人材採用システムの開発中止
◎ 米国アマゾン社は、履歴書を審査して応募者を5点満点でランク付
けするシステムの開発を2014年頃から進めていた。ところが、特定
職種で女性に不利だったことが判明した。
◎ システムでは、同社に提出された10年間分の履歴書を学習対象とし
ていたが、技術職は男性からの応募が多数だったため、男性を採用
することが好ましいと判断された。逆に、履歴書に女性に関する単
語（例えば「女子大学」「女性チェス部の部長」）が含まれている
と評価が下がる傾向が見られた。
◎ 本システムの運用は中止され、2017年には開発チームが解散となっ
た。なお、アマゾン社の採用部門は、AIが示したランクに目は通し
たものの、ランクのみで採用を決定していなかったとしている。

46
判断 ★☆☆
配慮 ★★☆
★★☆
★☆☆
★★☆
★★★
討 ★☆☆

3-1 分析・評価段階におけるプライバシー侵
害リスクの検討 ★★★
プロファイリング（分析・評価）の可否について、プ
ライバシー侵害リスクを検討すること
◎ 利用と保護のバランスについて、現段階では具体
的な指針が示されていない場面がある
◎ 例えば、「要配慮個人情報」（個人情報保護法2条
3項）に相当する情報をプロファイリングにより獲
得する場合は…？
○ 実務上、分析・評価段階における過度の規制・制約は、意味の
あるプロファイリングを難しくにすることにつながり、開発者
または企業にとっては受け入れにくい
○ 他方、一般の個人情報から要配慮個人情報に相当する情報を、
分析・評価を通じて予測することは、その予測精度が高ければ
高いほど、第三者に真実らしく受け取られるおそれがある
○ そのため、同法17条2項を適用または類推適用して本人同意を
要求すべきとする見解も説かれている（なお、「放送受信者等
の個人情報保護に関するガイドライン」34条も参照のこと） 47

3-1 分析・評価段階におけるプライバシー侵
害リスクの検討 ★★★（つづき）
48
◎ 当研究会では、当面の間、要配慮個人情報に相当
する情報を分析・評価するか否かを慎重に検討し
、仮に分析・評価を行う場合には、予測精度が高
く、真実らしく受け取られるおそれがあるものに
ついて、プライバシー侵害リスクに対する配慮を
検討し、妥当な規律レベルを探ることを推奨
◎ 妥当な規律レベルについて、今後の社会的議論と
合意形成を目指したい
○ 後掲（4-5）も参照

3-2 公平性に配慮した学習技術の導入検討
★★☆
社会的公正や反差別に配慮した技術的対応の導入につ
いて、プロダクトの目的と照らし合わせて検討するこ
と
◎ 「アルゴリズムの予測精度を犠牲にしてでも、平
等・公平を実現すべきか？」問題
○ 目指すべき目標が複数あると、それらのトレードオフが問題に
なることがある
○ 非常に難しくて悩ましい判断だが…
○ 優先順位をつけて判断しつつ、技術的対応でカバーできなかっ
た価値を社会的対応ですくい上げるなど、多面的なアプローチ
を検討することを推奨（後掲（4-5）参照）
49

3-2 公平性に配慮した学習技術の導入検討
★★☆（つづき）
◎ 差別につながる要素や機微に属する特徴（
sensitive feature）を除去したり、その影響力を弱
めたりするといった対策を講じることを推奨
○ もっとも、単純な除去では、それらの特徴の間接的な影響を必
ずしも排除しきれない
○ 例えば、「人種」という特徴を利用せずに与信スコアを分析し
たとしても、ある人種が特定の地区に集まっていると、「住所
」という指標によって結果的に差別的な決定が行われてしまう
ことがあり、間接差別（indirect discrimination）が問題に
◎ 対策により「逆差別（reverse discrimination）」が
生じていないかについても留意が必要
○ なお、米国のGoogleが公表している公正性に関するベスト・プ
ラクティスも参照
practices?category=fairness
50

51
ケースF 複雑なモデルに解釈を与える試み
◎ 2017年の機械学習の国際会議（ICML）のチュートリアルで例示さ
れた事例では、予測モデルが複雑すぎると、入出力の関係の解釈が
困難になることが示された。
◎ 入力（Input）に対してモデルが単純であれば、出力までの経路が比
較的簡単に説明できる。しかし、予測モデルや与えられるデータが
複雑になりすぎると、どの変数がより多くシステムに使われていて
重要であるかなどシステム全体の説明が非常に困難になる。
◎ こうしたいわゆる「ブラックボックス化」に対して、説明可能性を
確保すべく、予測モデルの理由や根拠を示したり、複雑なモデルに
解釈を与える試みが進んでいる。例えば、結果に効く変数（因子）
のみを取り出したり、結果だけ活かす形でより単純なモデルに置き
換えたりする研究がある。
◎ もっとも、こうした近似化の取組みも、正確性とトレードオフにな
ることが多い。

3-3 アカウンタビリティ（答責性）に配慮し
たモデルの導入検討 ★★☆
答責性（accountability）、説明可能性（explainability
）、解釈可能性（interpretability）、透明性（
transparency）などに配慮し、プロファイリングに利
用したインプットデータを特定しておくことや解釈可
能なモデルの導入を検討すること
◎ ディープラーニング等によって、大量のデータに基づいた複雑な予
測モデルの構築が可能になったが、複雑になりすぎて、なぜそのよ
うな分析結果になったのかという理由を、開発者自身も説明するこ
とができないといった事態も生じている
◎ 説明可能性・透明性等との関係で問題となりえ、AI指導原則3条で
も「AI システムの透明性及び明瞭性」が要求されている
◎ こうした課題については、FAT（Fairness, Accountability, and
Transparency: 公平性・答責性・透明性）という研究領域や研究コ
ミュニティが解決に向けた取組みを行っている（【ケースF】参照
、さらに後掲（4-2）も参照）
52

3-4 その他の社会的価値への配慮 ★☆☆
公平性・答責性・透明性以外の社会的価値にも配慮す
ること
◎ 様々な社会的価値に配慮することを推奨
◎ 民主主義的価値は、その一例（【ケースG】）
53

54
ケースG ニュースのアルゴリズムとフィルタ
ーバブル
◎ ニュースや記事を収集・整理して推奨する「おすすめ機能」の開発
を想定すると、利用者の閲覧履歴などを元に、嗜好データを取得・
分析して「この記事を読んだユーザーは、この記事も読んでいます
」と自動的に推論を行う「協調フィルタリング(Collaborative
Filtering)」を採用することが想定される。
◎ しかし、これまでの好みに基づいて最適化するパーソナライズを強
めすぎると、ライフスタイルの記事ばかりを好んで政治経済ニュー
スに注意を向けない傾向を助長したり、特定の政治傾向を強化し、
自分と異なる見解に触れる機会が減ってしまうといった事態が懸念
されている。
◎ こうした現象は「フィルター・バブル(filter bubble)」と呼ばれ、自
分好みの情報だけに泡のようにとり囲まれてしまうことが問題であ
ると指摘されている。

55
判断 ★☆☆
配慮 ★★☆
★★☆
★☆☆
★★☆
★★★
討 ★☆☆

4-1 人間関与原則の検討 ★★★
プロファイリングを利用した評価プロセスに対する人
間の関与を検討すること
◎ 「人生に重要な影響を与える決定には、原則とし
て人間が関与しなければならない」かどうか、現
段階で社会的合意はない
◎ 当研究会では、当面の間、完全自動意思決定の内
包するリスクに鑑みて、常に人間が関与すること
を厳格に求めるのではなく、適切な手続や体制の
整備を通じて、妥当な規律レベルを探ることを推
奨する
○ 例えば、プロファイリングに基づく自動化決定による評価に不
服が申し立てられた場合に限って人間による再審査を行うなど
○ その際、合理的な金額の手数料を徴収することも考えられる
56

4-1 人間関与原則の検討 ★★★（つづき）
◎ 問題意識の背景に、自動化された決定が、「個人
の尊重」や「尊厳（dignity）」を脅かすのではな
いか…との懸念
○ 完全自動意思決定に関するGDPR22条は、人生に重要な影響を
与える決定には原則として人間が関与しなければならないとい
う「人間関与原則」を定めたものであり、被評価者に対し、AI
プロファイリングの類型的で確率的な評価に異議を唱える機会
等を与えたものであるとする見解がある
○ AI指導原則5条c項でも、「個人の成長や見解に影響を与える技
術への適用に異議を申し立てる又は抗議する権利を認めること
、及び、適用できる場合には、もしそれが個人に重大な影響を
与える場合には自動化された処理のみに基づく決定には従わな
い個人の権利を保証すること、また、適用できない場合にはそ
の決定に異議を申し立てる個人の権利を保証すること」が要求
されている
57

4-1 人間関与原則の検討 ★★★（つづき）
◎ 他方で、「人間関与を強制すると、かえって人間
疎外が起きてしまう」との批判の声も
○ 例えば採用活動において、（ときには応募者側がAIを用いて）
大量の応募書類が送られてきており、その選抜に膨大なコスト
が必要になっているという現状のもとで、「人間関与」を原則
とすれば、担当者の疲弊を招き、ひいては学歴や性別といった
代理変数の利用を助長し、結果的に差別を誘発することになり
かねない
◎ そこで、当研究会では、プロファイリングを利用
した評価プロセスに対する人間の関与を検討する
ことを推奨することにした
○ この点についても、今後の社会的議論と合意形成を目指したい
58

4-2 答責性への配慮 ★★★
答責性に配慮すること
◎ どんな内容を、どの程度まで説明すれば責任を果
たしたことになるか、いまだ社会的合意はない
○ 【ケースH】参照
◎ AIのプロファイリングにのみ、答責性を求めるの
は均衡を欠くとの指摘もある
○ 例えば、人間の採用担当者であれば不採用理由を開示しなくて
も問題視されない現状をどう捉えるか？
◎ 当研究会では、決定の過程（決定を導くデータを
含む）について、被評価者や他のステークホルダ
ーに非専門用語で説明できるかどうかを検討する
ことを推奨
○ プロファイリングの過程や評価理由が不透明であれば、何が評
価の基礎になるのかがわからず、将来の行動計画を練れなくな
り、自律的・主体的に自らの人生を歩んでいくことが困難にな
るため
59

4-2 答責性への配慮 ★★★（つづき）
◎ 当研究会では、当面のベンチマークとして、苦情
対応時などに、被評価者が理解し得るような「理
由（justification）」を示すことを推奨
○ ここで被評価者に事後提示される「理由」は、実際の決定過程
を完全に反映したものである必要はない
○ 別のアプローチとして、【ケースI】も参照
○ 関連して、決定理由を人間に提示できる「説明可能なAI」（
Explainable AI: XAI）にも注目
○ なお、米国のGoogleが公表している解釈可能性（
interpretability）に関するベスト・プラクティスも参照
practices?category=interpretability
60

61
ケースH 再犯リスク予測プログラムとアルゴ
リズムの透明性
◎ 米国では一部の州で有罪確定者の再犯リスク予測プログラムが用い
られている。
◎ ただし、このプログラムのアルゴリズムが明らかにされていないた
め、バイアスがあるのではないかとの批判もある。例えば、ある再
犯リスク予想プログラムでは、アフリカ系を白人よりもリスクを高
く評価するが、アフリカ系たちが実際に再犯をした割合は半分以下
であったという調査も報告されている。
◎ データやアルゴリズムのバイアスに関しての検証をするためにも技
術システムの透明性や答責性が開発側には求められている。

62
ケースI 信頼の構築
◎ ディープラーニングの進展に伴う説明困難性を受け止め、「信頼（
trust）」や「信用（fiduciary）」の構築を重視する立場もある。
◎ 例えば、医薬品の作用機序を十分に理解していなくても、医師や薬
剤師の勧めに従って服薬することが一般的である。これは、高い能
力・専門性を備えた医師等に任せた方が合理的であるという考えや
、国家資格による認証や専門職集団の行動規範（code of conduct）
による制約などが制度的に担保されているから信じるに足るとの考
えが背景となっていよう。
◎ このような信頼構築のための規律構造をAI化社会においても実現し
ようとする試みが存在する。

4-3 安全管理措置の実施 ★★☆
プロファイリング結果（例えば信用スコア）が個人に
与える影響の重要性に鑑みて、その安全管理には細心
の注意を払うべき
◎ プロファイリング結果（例えば信用スコア）が漏
えい、滅失、き損することによって本人の被る権
利利益の侵害の大きさ等を考慮して、リスクに応
じた安全管理措置を実施すべき
○ 個人情報保護法20条が安全管理措置義務を規定した趣旨と合致
○ 特に、完全自動意思決定を行う場合には、個人に与える影響の
重大性に鑑みて、プロファイリングのプロセスが、外部から「
攻撃」を受け、アルゴリズムが「き損」されたり、プロファイ
リング結果が歪められたりしないよう、安全管理措置を講ずる
ことが求められる（【ケースJ】）
63

64
ケースJ アルゴリズムに対する「敵対的な攻
撃」への備え
◎ 近年、学習機能を利用してシステムの判断に歪みをもたらすことが
可能であると指摘されており、そのリスクに備えた安全管理措置も
一考に値する。
◎ 2018年の機械学習に関する国際会議（ICML）では、画像認識アル
ゴリズムに対する「敵対的な攻撃（Adversarial attacks）」の研究
が紹介された。誤った学習を引き起こすようなサンプルデータを意
図的に読み込ませた結果、アルゴリズムが「騙されて」しまい、3D
プリントされた「カメ」を誤って「ライフル」とみなしてしまった
というものである。
◎ データセットを介して「攻撃」を受けたプロダクトは、セキュリテ
ィの観点から問題になる。このような「敵対的な攻撃」については
、その攻撃方法と防御方法に関する技術的研究が進められており、
その知見を取り入れるなどの対応が期待される。

4-4 データ内容の正確性の確保 ★★☆
データ内容の正確性の確保すること
◎ プロファイリングの実施目的の達成に必要な範囲
で正確性・最新性を確保することが望ましい
○ cf. 個人情報保護法19条
◎ 具体的には、消去措置などが想定される
○ 例：クレジットカードの利用情報や、米国公正信用報告法（
Fair Credit Reporting Act）の年限
◎ また、情報の信頼性に関する情報をメタデータと
して示すアプローチもありうる
○ 情報それ自体とは区別された注釈情報（annotation）として、
作成日・作成組織・最終更新日、さらには確実性・重要性など
のメタデータを付随させる
○ 例えば、犯罪履歴とおぼしきデータにつき、情報源が、分析結
果か、逮捕時の報道か、裁判例情報に基づくのか、また、どの
程度「時の経過」があるか、などが把握できるようになる
65

4-5 開示・訂正等の手続きの整備 ★★★
被評価者からの苦情処理手続きを整備すること
◎ インプットデータが「保有個人データ」に当たる
なら、開示・訂正・利用停止等の権利（個人情報
保護法28条～30条）の対象に
◎ プロファイリングの結果情報（出力データ）につ
いては、可能な限りで訂正等に応じることを推奨
○ 「保有個人データ」の内容を構成するかどうかが解釈上の論点
になるが、現実にプロファイリング結果も、個人情報データベ
ースを構成する「個人データ」になり得るうえ（同法2条6項参
照）、企業が開示、訂正等を行う権限を有していないとはいえ
ないため（同条7項参照）
○ また、GDPRやカリフォルニア消費者プライバシー法が、プロ
ファイリング結果（後者については「推論（inferences）」）
を「個人情報」として扱っていると解される
◎ 個社での対応が難しいなら、業界団体等に窓口業
務を集約することも、ありうる選択肢 66

4-6 プロファイリングに関するリテラシー向
上 ★☆☆
プロファイリング結果を直接取扱う者（人事担当者等
）が、適切にその結果と向き合い、同結果を評価でき
るための教育活動を行うこと
◎ 機械によって自動化された判断を人間が過信し、
鵜呑みにしてしまう「自動化バイアス（
automation bias）」の懸念
◎ プロファイリング結果を直接取扱う者のリテラシ
ーを高めるための教育・研修・啓発活動を期待
○ プロファイリング結果（例えば信用スコア）を取扱う者が、そ
の結果を盲信し、アルゴリズムを「神格化」することがないよ
うな対応（研修など）
○ プロファイリング結果を安易に示して被評価者を傷つけないよ
う表現や伝え方に配慮する対応
67

4-7 被評価者等の反応の精査・検討 ★☆☆
被評価者等の行動変容も視野に入れて検討すること
◎ 評価・分析の結果が被評価者等の行動・選好に影
響を与える可能性があるので、その構造も考慮に
入れて設計することが望ましい
○ 例えば、認知件数に基づいて空き巣や痴漢が発生しやすい地域
・時間帯を予測し、巡回ルートを提示するシステムを導入した
場合、巡回頻度が増すことで警察への相談がしやすくなり、認
知件数も増えた結果、当該地域・時間帯の巡回がさらに強化さ
れるルートをシステムが提示するといったフィードバック・ル
ープが発生する可能性がある
○ この際、もともと暗数が多かった地域・時間帯が見過ごされ、
巡回リソースの配分が不適切になることが懸念される
○ このほか、過剰適応やゲーミングを引き起こしたりするおそれ
もある（【ケースK】）
68

69
ケースK 大学ランキングと操作
◎ 米国の雑誌社が発表する大学ランキングでは、入学者のSAT（大学
進学適性試験）のスコアなどを指標にしている。
◎ そのため、米国のベイラー大学は、ランキングの向上を期待して、
入学予定者（SATを受験済みの者）に資金提供し、SATを再受験さ
せた。
◎ スコアに反映される項目の評価を改善しようと努める大学は多いが
、こぞって同じ目標を目指すようになれば、大学の多様性が失われ
るのではないかとの指摘もある。

4-8 信用スコアを第三者提供する手続きの確
認 ★★☆
信用スコアの第三者提供等について慎重な配慮をなす
こと
◎ 信用スコアにつき、第三者提供等の是非について
組織内で慎重な検討を行うことを推奨する
○ 例えば、信用スコアの第三者提供等を、いわゆるオプトアウト
手続（個人情報保護法23条2項以下を参照）によって行うべき
かについては、レピュテーションリスクとの関係で議論を尽く
しておく必要がある
○ 関連して、プロファイリングにより分析し推知した「機微情報
」に相当する情報を、例えば、弁護士会照会や捜査関係事項照
会書に基づく要望などに応じて任意に提供するか令状を求める
かにつき、内規を作成しておくことも検討した方がよい（同法
23条1項1号参照）
◎ ユーザーのデータが適切に扱われているのか、対
外的に答えていくことも推奨（【ケースL】）
70

71
ケースL 透明性レポート
◎ Google、Facebook、Twitterなどは、「透明性レポート」を公表し
ている。
◎ 当該レポートでは、ユーザーから寄せられる情報開示請求・削除請
求、政府からのコンテンツ削除リクエストなどが公表されており、
各種の請求にどう対応をしているかを一望できる。

4-9 監査可能性への配慮 ★☆☆
監査可能性（Auditability）を確保すること
◎ 一定の情報開示を通じて、関心のある第三者（研
究機関や個人情報保護団体等）が、アルゴリズム
の動作を調査し、プライバシーや公正性を評価す
ることを可能にする仕組みの構築を期待
○ 【ケースM】参照
○ AI指導原則3条c項参照
72

73
ケースM ニューヨーク市のアルゴリズム監査
◎ アルゴリズムが「ブラックボックス」化していることを前提に、モ
デルの背後にある前提を調べ、そのモデルの公平性を評価するとい
った監査を提唱する論者もいる。
◎ 実際に、ニューヨーク市は、「市の機関によって利用される自動化
決定システムに関する条例」を可決し、行政が使用するアルゴリズ
ムの公正さを監視するタスクフォースを設置した。

大切なのは「プロファイ
リングを行うことによっ
て何を実現したいのか」
という意図・姿勢を示し
て、ビジネス上の信頼を
獲得することだと考える
74
結びに代えて
留意点をたくさん書いたが、
チェックリストすべてを遵守
すべきと言っているわけでは
ない

75
謝辞
◎ 本中間報告書の作成にあたっては、多くの方のご
助言とご協力を賜った。ここに記して感謝したい
。特に、ヒアリングにご協力いただいた、一般社
団法人ピープルアナリティクス＆HRテクノロジー
協会、一般財団法人日本情報経済社会推進協会、
株式会社メルペイの皆さまに深く御礼申し上げる
次第である。
◎ 今後も関係各位との情報共有・意見交換を続け、
プロファイリングの健全な実装に資する情報や議
論を提供していきたい。
◎ なお、一般社団法人ピープルアナリティクス＆HR
テクノロジー協会は、本提言案を参考にしてルー
ル整備を目指すとしている。こうした企業側の動
きとも連携していく予定である。

「プロファイリングに関する自主的規律導入支援の実践」（工藤郁子） #JSAI2019

Recommended

Recommended

More Related Content

Similar to 「プロファイリングに関する自主的規律導入支援の実践」（工藤郁子） #JSAI2019

Similar to 「プロファイリングに関する自主的規律導入支援の実践」（工藤郁子） #JSAI2019 (20)

More from Fumiko Kudoh

More from Fumiko Kudoh (14)

「プロファイリングに関する自主的規律導入支援の実践」（工藤郁子） #JSAI2019