「悪いやつをAIで予測する」のがなぜいけないか - yhara.jp

テクノロジーカテゴリーの変更を依頼記事元:

yhara.jp

827 usersがブックマークコメント

333

「悪いやつをAIで予測する」のがなぜいけないか - yhara.jp

「この人、家賃を滞納しそう？」AIが予測　入居審査を45分→16分に - ITmedia NEWS いやーこれはまずい。... 「この人、家賃を滞納しそう？」AIが予測　入居審査を45分→16分に - ITmedia NEWS いやーこれはまずい。この件に限らず、「悪いやつをAIで予測する」というのはすなわち「あなたに似た人が悪いことをしたので、あなたも悪い人と見なします」ということだからだ。レストランのランプたとえばこんな例を考えてみよう。ある街でレストランが強盗に襲われる事件が相次いだ。これを防ぐため、レストランの入口に防犯カメラを設置することにした。このカメラはAIで犯罪者の顔を学習していて、「犯罪を犯しそう」な人間を検知してくれるのだ。もちろん検知するといってもサイレンが鳴ったりするわけじゃない。あくまで「犯しそう」なだけで、まだ犯罪を犯したわけではないからね。でもキッチンに置いてある赤いランプがピカピカ光って、「要注意人物」が来たことはわかるようになっている。ああこれで安心だ。 …さて、これは本

teteto 本質的にAIが関係ないんだよね。書類審査で学歴フィルターかますのが属性による判断みたいなもんで、この場合問題はAIに責任転嫁していること。

2021/06/23 リンク

vbwmle 単に大家が「リスクあるし外国人とか単身高齢者とかシングルマザーに貸したくねえなあ」という気持ちを「AIの決定」としてボカしてくれる装置

rararoro-ryo 純粋に予測だけするのは良いが不利益を与えるのがダメ。予測結果を見て全く不利益を与えないというのは実質無理なので予測も大体ダメってことかな。

rh-kimata 個々人の中でもそういう差別、偏見はあると思うのだけれどAIなどによってシステム化されてしまうと社会全体が差別をAIのお墨付きで受け入れてしまうので問題、と言うお話

Fushihara 例えがコンビニだから「店員がよそよそしい」くらいのデメリットしか無いと言えるけど、これが保険や銀行だったら大きな実害が出てくるんだよね。ランプがアジア人全般に対して光らない保証なんか無いし

hate_flag 現実世界で起きてることをベースに機械学習させるとそのAIは現実世界の差別を補強するAIにしかならない。現実世界がそうだから黒人には家のローンの限度額が低くなるし女性にはクレジットカードの与信枠は低くなる。

cubed-l リクナビの内定辞退予測問題再びか。統計的差別の話とは別に、個人情報を選別に用いるのであれば同意いるんじゃね？とか。

個人情報

2021/06/25 リンク

crowserpent 「統計的差別」の話。／フィードバックによる更新で正しくなっていくという意見があるけど、それが可能なのは「正しさ」が（コンピュータ内部的に）定義できる場合だけなんだよね。

2021/06/24 リンク

aquatofana id:karukaru7 属性による差別が、もともと属性間にある格差を再生産して悪化させるだけでなく、人間が改善しようとしてもAIがどこからか属性を見つけてくるからです。Appleクレカの与信差別や黒人の診断差別という事例が。

Hatenow 先天的かつ変更不可な属性に基づく不利益は差別だと殆どの人は感じるだろう。一方で、先天的ではない属性とされる学歴や勤務先・収入、先天的だか変化しうる親の地位・財産で判断するのは、許容されるケースが多い。

Clock0311 不動産やさんは、その浮く30分でたぶん「悪いやつを人間の脳で予測」してるはずだよなと。もちろんAIの導入がそれを悪い方に加速する可能性もあるけど、みなさんのお好きな「道具に罪はない」ってやつなんでは。

NOV1975 じゃあ人間で判断する場合はどうかってこと。そこまで分析しきれないから問題ないってのもちょっとおかしい。突き詰めて言えば結局信用がないと貸せない、信用とは金である的な話になりそう。

mujisoshina AIが悪いのではなく、倫理的に問題があることはAIを使おうが使うまいが問題があるという話じゃないかな。AIに条件設定をしている時点で使用者は偏見を持っている訳で。/AIで指名手配犯を見つける場合はどうだろうか。

vjaPj 人間も属性で決めつけてる、AIになるとそれが文章化されるだけ。悪い奴かは知らないけどストレス抱えてるかどうかは見てわかる。余裕がなさそうな人とか、興奮してる人、精神状態おかしい人を警戒しない人はいない。

ludwig125 プログラムや学習内容を改善すればいい、という意見があるけど、結局「予測する」のであれば属性で判断するという本質が変わってない

oakbow なんで更新されない前提なわけ？ってのは更新されても問題だからだよ。AIを使おうが、その属性で判断しようとしているのは変わらず、そういった判断の仕方は差別だという話。

shinichikudoh こういうの黒人差別を例えにしがちだけど日本の入居審査に白人至上主義が導入されていたら日本人の大半は落とされる。つまり日本の入居審査で有利なのは日本人で外国人なら黒人も白人も差別されるんじゃないかなと。

BT_BOMBER 煎じ詰めればAIは統計解析をやってるだけに過ぎないという話。ここ10年くらいの発展はあくまでビッグデータの学習速度向上にあった訳で。偏りのあるデータを学習したAIがナチュラルに差別し始めるのは既に知られてる

tyoko107 差別するブラックボックスを、誰がどのように改善するんだ？あと、AIが分かりやすくロボットやランプではなかろうて。

kaz_the_scum 車の任意保険だと特定の車と年齢で保険料が跳ね上がるけど、当該車種に乗っていた身としてはそりゃそうだよなと思ってた。個人情報を管理して、実際に前科がある奴に対してだけ警告出すしかないな。

t0a1n3 “差別とは、人間を「その人」ではなく"属性"で判断することだ。”この点には同意するものの、「属性」はある種の経験であり、それが全くないと何を判断するのにも時間がかかりすぎる。

plutonium 人を属性で判断することを差別と定義したから「いけない」ということになっている。しかし他人を属性以外で判断する社会とか他人を属性で判断した人を糾弾する社会というのは些か実現性に無理があるのではないか

mmaka2787 AIはバカだってことでしょ。人間は100年かけて黒人が犯罪を犯すのではなく、環境が犯罪を犯させるのだと気づいたけど、AIはそれをまた元の木阿弥に戻そうとしていて、しかもそれが人間にとって明示的でないことが問題

aki_asap 最終的には理由がわからんというのがね。根拠を積み重ねて作ったこの社会を無根拠が壊す。それっぽさによる専制支配だ。

kotehanltd 良い人を判別するのは難しいだろうなってコメントは面白い。疑わしきは容疑者候補という運用はいかんと思いました。

nakaoka3 難しいけど、システムが偏見を強化・再生産しないように作るのがデータを扱う者の倫理なのだと理解してる。犯罪を犯しそうな人を事前に検知するシステムはその点で問題ありそう。

はてなブックマーク

「悪いやつをAIで予測する」のがなぜいけないか - yhara.jp

記事へのコメント333件

関連記事