「AIによる差別」の可能性とどう向き合うべきか。Apple Cardと東大特任准教授発言問題から考える

「AIによる差別」の可能性とどう向き合うべきか。Apple Cardと東大特任准教授発言問題から考える

sujin soman via Pixabay

◆Apple Cardの利用限度額決定アルゴリズムが男女差別との疑惑

 今年の3月25日、アップルは自社の新製品発表会で Apple Card を発表した。iPhone ユーザー向けの新しいクレジットカードで、Goldman Sachs および Mastercard と提携したものだ。

 普通のクレジットカードにあるカード番号や有効期限、セキュリティコードといったものは記載されていない。チタン製の優美な外観は、さすがアップルというものだ(参照:ITmedia Mobile)。

 8月にアメリカで一般提供が開始されたこのカードは、11月に炎上した。それは、Apple Card が性差別をおこなっているというものだった。

 嚆矢となったのは、実業家のデイヴィッド・ハインマイヤー・ハンソン氏のツイートだ。Apple Card で、自分に妻の20倍の利用限度額が設定されている、これは性差別だと発言した。

 その後、スティーヴ・ウォズニアック氏も、同じことが起きているとツイートした。

 この件はニュースになって瞬く間に広がった。そしてネット上の炎上では終わらず、ニューヨーク州金融監督局が調査をおこなうことになった(参照:BBCニュース 、 WIRED.jp 、CNET Japan)。

 アップルはこの事態に対して、明快な説明をしなかった。Goldman Sachs は、利用限度額に関する決定において、性別が要素となっていることを否定した。しかし性別を直接参照しなくても、性別の代わりになる要素はいくらでもある。それらの情報を元に、結果的に差別が発生したのであれば、それは問題だ。

 AIやアルゴリズム、プログラムは、その作り手や入力したデータによって出力が変わる。差別の存在する社会が入力データになれば、現実社会を反映したり、より誇張した結果が出力される可能性がある。

◆AIを隠れ蓑にした統計的差別

 この1〜2週間、日本でもAIと差別についての話題に事欠かなかった。東大特任准教授による差別発言である。小さな炎上を繰り返したあと、国籍・人種についての差別で大炎上した(参照:篠原修司氏のYahoo!ニュース個人)。

 この一連の発言に対して、多くの人が問題だと考えた。なぜ問題なのにかについては、東京大学大学院特任助教の、明戸隆浩氏のブログ記事で丁寧に解説されている。

 この文章の中に「統計的差別」についての説明がある。少し引用しよう。「差別かどうかを判断するにあたって重要なのは個人ではなくカテゴリーで判断するということであり、そこでの判断材料が事実であるかどうかは関係がありません」。

 他人に何らかのラベルを貼り、そのラベルをもとに個人を分類して、不利益をこうむらせる。

 人間は放っておくと、過去の体験を元に、物事を類型として判断する。その方が、物事を高速に判断して、素早く結果を出せるからだ。

 自分より頭のよい人たちが、驚くほど素早く、過去の経験から、それとは無関係な他人を判断している様子を、何度も見たことがある。自分自身も、おそらくそうしたことを無意識のうちにしてしまっているだろう。

 自分が生涯で出会う全ての人を、何の分類もせずに個別に処理することは難しい。そういう意味で人間の脳は、日々の生活の中で、差別をおこなってしまう仕組みを持っている。だからこそ社会としては法律で規制したり、新しい社会規範を啓蒙したりしなければならない。また個人としては常に学習し、自己を律していく必要がある。そして不当な不利益を社会から減らしていかなければならない。

 AIやアルゴリズム、プログラムが、人間の判断の代わりになる時代が来ている。こうした思考装置による人の分類は、人間の脳がおこなっている処理の低コスト化を、機械に置き換えている危険がある。現実社会の差別を、人間よりも高速に再現する危うさを孕んでいる。

◆1930年代のアメリカにあった「レッドライニングの問題」

 人を分類するアルゴリズムによる差別は、AI時代以前からある。Apple Card のニュースを見た時に、アメリカのレッドライニングの問題を思い出した。人種や民族に基づいて、特定の地域の居住者が、不利益をこうむった問題だ。

 1930年代、政府の調査員は、239の都市の近隣を格付けして、緑、青、黄色、赤で色分けした。文字どおり赤線で囲まれた地区の人々は、危険区域の人間として、まともな融資を受けられなかった。政府が担保する住宅ローンは、差別的貸付制度となった。こうした行為を禁止する法律は、1977年に可決された(参照:Investopedia 、 The Washington Post)。

 レッドラインでは地図に赤線が引かれた。AIやアルゴリズム、プログラムは、ビッグデータの中に、見えない線を引いていく可能性がある。

◆ビッグデータとAIが、社会の差別を固定化する危険性

 AIもアルゴリズムもプログラムも、複雑なことを安いコストで実現してくれる。膨大なデータから、一定の法則に基づく結論を、高速に導き出してくれる。なぜこうした情報技術がもてはやされるかというと、それがこれまでの方法よりも圧倒的に低コストだからだ。

 しかし、差別を防ぎ、社会を望ましい方向に変えていくには、監視と是正というコストが必要だ。そして、その内容が正しいかを絶えず検証することが求められる。

 Apple Card の出来事は、見えないルールにより差別が起きることを人々に気付かせた。機械による思考が差別の助長に繋がらないように、企業や個人はコストを払わなければならない。運用する人間は、見えないコストに目を向けるべきだと思う。

<文/柳井政和>

【柳井政和】

やない まさかず。クロノス・クラウン合同会社の代表社員。ゲームやアプリの開発、プログラミング系技術書や記事、マンガの執筆をおこなう。2001年オンラインソフト大賞に入賞した『めもりーくりーなー』は、累計500万ダウンロード以上。2016年、第23回松本清張賞応募作『バックドア』が最終候補となり、改題した『裏切りのプログラム ハッカー探偵 鹿敷堂桂馬』にて文藝春秋から小説家デビュー。近著は新潮社『レトロゲームファクトリー』。

関連記事(外部サイト)