中国の社会スコアAIがバス広告の女性を｢信号無視｣判定

システムのダメっぷり露呈と、エアコン会社の宣伝が同時に行なわれることに。

2020年末までに2,220万人の市民の行動を監視し、データを採取したのち社会的なランク付けをするという中国の首都・北京。ディストピアまっしぐらですが、まだシステムは完璧ではないようです。

中国の監視システムは到るところに設置され、カメラ数は推定2億台となっています。この状況についての議論は棚上げされている中、システムが簡単なタスクでヘマをしでかしました。

どんなヘマをやらかしたの？

South China Morning Postによると、それは先週、浙江省の寧波で起こったそうです。

中国各地では、信号無視や横断歩道のない車道を渡る人物などを撮影し、その辺のLEDスクリーンに表示して辱めるシステムが導入されています。そこであるとき、誰も信号無視をしていないのに、ある女性の顔がアチコチのスクリーンに晒されました。

そのタネ明かしは、バスに張られた広告に女性の顔が印刷されているのを、顔認証システムが、“信号無視した人物”と認定してしまったのが原因だったのです。

ちなみにその顔の人物は広告主で、世界最大級の住宅空調メーカー代表の董明珠さんの顔。結果として、顔出し広告が思いっきりプロモートされることになったんですね。

都市部の交通警察は、水曜日に微博（ウェイボー）にて監視システムから写真を削除し、将来の誤認を防ぐため、監視システムが修正されることを発表しました。また董明珠さんの会社グリー・エレクトリック・アプライアンシズは同日、市内の交通警察に感謝の意を表明し、人々に交通ルールを守ってね、と投稿したとのことでした。

システムは欠陥を露呈

この出来事は、AIベースの認識システムを大量導入について、さらなる警鐘を鳴らしています。

技術的には笑っちゃうような欠陥があり、アルゴリズムが人間を取り巻く世界の微妙なニュアンスを検知できなかった最初の事例となりました。大規模に配備されてはいるものの、AIシステムはまだ完璧だと証明されてはいないのです。

鄭州市の鉄道警察副部長は、ヘロイン密輸業者の取り締まりは、顔認証サングラスを使った上で、｢かつてはぜんぶ本能に頼っていました｣と話しています。｢もしあなたが何かを見逃したなら、そのままそれを逃し続けるということなのです｣とも。

機械にはそういった本能が備わっていないだけではなく、2次元／3次元など肉体的な世界の微妙な違いを区別することもできません。そういったバイアスから解放されていないのです。

なのにシステムを増やす

信号無視をした、ならず者を晒すだけが顔認証AIの仕事ではありません。The New York Timesいわく、リサーチ会社IHS Markitの予測では、中国は今後、購入する3/4以上のサーバーは、顔認証した記録を分析するために使うだろうと発表しています。

交通ルールを守らない歩行者に屈辱を与えるだけでなく、社会的に市民をランク付けし、犯罪容疑者を特定するという正義の下、こうした欠陥がどんな失敗を起こすのか？ 想像するのは簡単そうですね。

Source: South China Morning Post, The New York Times