「システム・エラー社会」（その２）
ロブ・ライヒ, メラン・サハミ, ジェレミー・M.ワインスタイン
〝システム・エラー社会 「最適化」至上主義の罠〟（訳:小坂恵理）の２回目。
今日とりあげるのは、そもそも本書の日本副題である「最適化」が何をもたらすかに注目した部分。
そしてその結果だが、
アマゾンがすっぱりとこのシステムを（一旦はかもしれないが）あきらめたのは良心的と言えるかもしれない。あるいは、システムを使い続けて、こうしたバイアスがあることが露見したときの裁判や補償の問題を考慮したのかもしれない。（人材募集コストと、補償等の費用を天秤にかけたのかも）
もう一つの巨人グーグルもやってしまっている。
グーグルのＡＩへの取り組みといえば、「グーグルのネコ」など、世間を驚かせるものがある。
が、次の例はやはり世間を驚かせた。
ＡＩがやらかす「失敗」は数多く報告されている。
そしてＡＩの失敗が増幅されないよう、生成型ＡＩでは、学習にＡＩが作成したテキストは除外することが推奨されたそうだ。
これらの失敗例はすぐに分かったからまだましなほうと言えるだろう。
そして思うのだが、ＡＩが学習する周囲の情報というのは、ある意味、人間が育つときのシミュレーションになっているのかもしれない。
ＡＩの失敗を賛美するつもりは全くないのだが、返す刀は人間にも向く。私は偏見、いいかえれば先入観というものは、デフォルト知識であり、これがあるから人間はいろんな判断をスピーディに行えるのだと思う。
ＡＩがらみのものをあげたけれど、プログラマーが直接ロジックとして入れ込む「最適化」もある。
本書でもとりあげられているが、有名な「５人を助けるために１人を殺すことは許されるか」という問題がある。この問題についても、人命をできるだけ多く救うのが最適とするなら、５人を助ける選択をするようにプログラムするだろうことは全く疑いの余地はないだろう。
著者が指摘するエンジニアにありがちな誤謬がある。
それは「最適化」を目指す場合、最適化の程度を数値化する必要があるが、その数値を最適化することが目標になるという逆転現象である。また、どれほど重要な要素であっても、数値化ができないということで、「最適化」目標になりえないということも指摘される。
そうして「最適化」は暴走しはじめる。
経営改善などで、数値目標を決めることが推奨されることが多いが、数値化が困難なものは無価値であるとして捨象されがちである。たとえばオフィスにおける雑談は、直接的なプロダクションに結び付けられないものだから、従来多くのオフィスで「私語厳禁」がアタリマエであった。
ところが、新型コロナ禍でテレワークが増えたこともあって、オフィスにおける雑談が実はクリエイティブな活動を活性化するという研究が相次いでいる。（そしてテレワークとオフィスワークの組み合わせが追及されるようになっている。）
経済学における新自由主義も、そうした「最適化」信仰に通ずるところがあるのではないだろうか。
〝システム・エラー社会 「最適化」至上主義の罠〟（訳:小坂恵理）の２回目。
今日とりあげるのは、そもそも本書の日本副題である「最適化」が何をもたらすかに注目した部分。
これについては以前、ＮＨＫスペシャル取材班〝人工知能の「最適解」と人間の選択〟でも取り上げられている。本書は416ページもあるので、より具体的に何が起こっていたのかが記述されている。
なお原著の副題は、"SYSTEM ERROR WHERE BIG TECH WENT WRONG AND HOW WE CAN REBOOT" である。
アマゾンはこの精神に基づいて二〇一四年、最高の人材の募集と採用という新たな挑戦を成功させるため、テクノロジーの力を借りることにした。同社のエンジニアは、最も有望な候補者をアルゴリズムで特定する新しいツールを構想した。強力な機械学習のテクノロジーを使えば、飛びぬけた才能の発掘も夢ではない。過去数十年分の履歴書などの社内データを使って訓練を施し、新しいシステムの精度を上げていけばよい。訓練を受けたシステムは、応募者がアマゾンで成功するために必要な資質、スキル、経歴、経験を認識できるようになる。これらの項目に関して候補者は五段階での評価を受ける。ちょうど、消費者が小売業向けプラットフォームで製品をランク付けするのと同じだ。
このツールは非常に有望で、目的にも説得力があった。 アマゾンがスマートな自動化ツールを通じて雇用プロセスを劇的に改善できれば、求人活動の効率は向上し、コアビジネスの急成長を維持しつつ「最高の人材の確保」というかねてよりの公約を守ることも可能だ。……
このツールは非常に有望で、目的にも説得力があった。 アマゾンがスマートな自動化ツールを通じて雇用プロセスを劇的に改善できれば、求人活動の効率は向上し、コアビジネスの急成長を維持しつつ「最高の人材の確保」というかねてよりの公約を守ることも可能だ。……
| はじめに | ||
| 序章 | ||
| 第一部 「テクノロジスト」の解読 | ||
| 第一章 不完全なマインドセット「最適化」 | ||
| 私たちはすべてを最適化するべきか？ /エンジニアの教育 /効率の非効率 /測定可能ならば意味があるとは限らない /価値のある複数の目標がぶつかり合うと何が起きるか | ||
| 第二章 ハッカーとＶＣの結託は問題含み | ||
| 権力を掌握したエンジニア /ベンチャーキャピタリストとエンジニアから成るエコシステム /最適化のマインドセットは企業の成長を後押しする /ユニコーン企業の人材ハンティング /新しい世代のベンチャーキャピタリスト /市場支配力を政治支配力に変えるテクノロジー企業 | ||
| 第三章 破壊的イノベーションVS民主主義 | ||
| イノベーションと規制の対立は新しいものではない /「規制の不在」には政府が加担している /「プラトンの哲人王」の運命 /企業にとって良いことが健全な社会にとっても良いとはかぎらない /ガードレールとしての民主主義 | ||
| 第二部 「テクノロジー」の分析 | ||
| 第四章 アルゴリズムの意思決定は公正か | ||
| 機械学習の時代の到来 /公正なアルゴリズムを設計する /試されるアルゴリズム /アルゴリズムの説明責任の時代 /アルゴリズムの決断に含まれる人間の要素 /アルゴリズムを管理する方法 /「ブラックボックス」を開ける | ||
| 第五章 プライバシーに価値はあるか | ||
| データ収集の無法地帯 /デジタルのパノプティコン？ /パノプティコンからデジタル・ブラックアウトへ /テクノロジーだけでは私たちを救えない /私たちは市場も当てにできない /プライバシー・パラドックス /社会のためにプライバシーを守る /あなたのプライバシーにとって重要な四文字 /ＧＤＰＲの先には | ||
| 第六章 スマートマシンの世界で人類は繁栄できるか | ||
| ブギーマンにご用心 /スマートマシンの何がスマートなのか /オートメーションは人類の役にたつのか /経験機械に接続する /人間の貧困からの大脱出 /あなたにとって自由の価値は？ /調整のコスト /自動化すべきでないものはあるか /人間はどこに収まるのか /取り残された人たちに何を提供できるか | ||
| 第七章 インターネットに言論の自由はあるか | ||
| 言論の氾濫とその結果 /言論の自由が民主主義や尊厳と衝突するとき /オンラインのスピーチはオフラインにどんな危害を加えるか /ＡＩはコンテンツの過激な傾向を和らげられるか /フェイスブックは最高裁？ /自主規制を超える /プラットフォームの免疫の未来 /競争のスペースを創造する | ||
| 第三部 「未来」を再コーディングする | ||
| 第八章 民主主義は難局を乗り切れるか | ||
| では、私には何ができるだろうか /あなたひとりではなく、私たちみんなの問題である /制度を再起動する /テクノロジストよ、害をなすなかれ /企業の力に抵抗する新しい形 /テクノロジーに支配される前に、テクノロジーを支配する | ||
ところが新しいシステムが勧める候補者に目を通したリクルーターは戸惑った。というのも五段階評価は女性への偏見がなぜか強く、男性をかなり優遇しているように感じられたからだ。そこでチームが結果をさらに詳しく調べたところ、アルゴリズムが学んだのは、応募者が将来仕事で成功する可能性を中立的な立場から予測するパターンだけでなかったことがわかった。雇用関連の過去のデータから男性の応募者を優先するパターンも学び、その傾向を強めていたのだ。実際にアルゴリズムは、「女性」という言葉が含まれる履歴書を不当に差別していた。「女性のサッカーチームのキャプテン」から「働く女性」に至るまで、女性という言葉を含むあらゆるフレーズに反応し、女子大学からの応募者を低く評価していたのである。エンジニアは決して性差別主義者ではなかった。意図的に偏見を挿入したわけでも、「性差別主義的なアルゴリズム」を冷酷にプログラムしたわけでもなかった。それでもジェンダーバイアスは入り込んでしまった。チームはコードを調整して偏見の解消を目指したが、差別の可能性をツールからすっかり取り除くことはできなかった。数年間努力したすえ、アマゾンはこのツールの構想の実現をあきらめ、担当チームは解散された。
アマゾンがすっぱりとこのシステムを（一旦はかもしれないが）あきらめたのは良心的と言えるかもしれない。あるいは、システムを使い続けて、こうしたバイアスがあることが露見したときの裁判や補償の問題を考慮したのかもしれない。（人材募集コストと、補償等の費用を天秤にかけたのかも）
もう一つの巨人グーグルもやってしまっている。
グーグルのＡＩへの取り組みといえば、「グーグルのネコ」など、世間を驚かせるものがある。
が、次の例はやはり世間を驚かせた。
最終的に研究者は、このようにラベル付けされない「教師なし」データの潜在能力を解き放つ効果的な方法を発見した。すなわち、少量の教師ありデータを含むモデルを構築したうえで、大量の教師なしデータのラベル付けの予測にこのモデルを利用するのだ。こうして新しいラベル付きデータを一気に手に入れられるようになったプログラマーは、このプロセスを何度も繰り返した。おかげで、以前はできなかったデータのラベル付けが可能になった。オープンなウェブに存在する大量のラベルなしデータポイント、あるいは私たちがオンラインで実行するほぼすべての事柄をグーグルやフェイスブックなどが追跡して集めたラベルなしデータポイントを対象に、同じ手順を繰り返すだけでよい。 何千台ものコンピュータがプロセス全体を猛スピードで進める。こうして能力は飛躍的に向上し、未だに成長が続いている。
もちろん、ラベル付きデータがこのような形でどんどん蓄積されると、モデルが重大な間違いを出す可能性が出てくる。 プロセスの初期段階で予測を間違えれば、あとからの予測に悪影響がおよぶ｡たとえばアフリカ系アメリカ人のソフトウェア開発者ジャッキー・アルシンがグーグルのフォトアプリに写真をアップロードすると、ガールフレンドと一緒の写真が「ゴリラ」 とラベル付けされた 。グーグルのエンジニアはすぐに謝罪文を公表し、ツイッターでは「これはひどい… 一〇〇パーセント間違っている」とつぶやいた。しかしすでに手遅れで、しかも問題の修復は簡単な作業ではなかった。グーグルは解決策として以後数年間、イメージバンクからゴリラとチンパンジーをすべて削除した]。 機械学習は複雑な問題を解決するだけでなく、救命的な間違いを犯す可能性も秘めている。
もちろん、ラベル付きデータがこのような形でどんどん蓄積されると、モデルが重大な間違いを出す可能性が出てくる。 プロセスの初期段階で予測を間違えれば、あとからの予測に悪影響がおよぶ｡たとえばアフリカ系アメリカ人のソフトウェア開発者ジャッキー・アルシンがグーグルのフォトアプリに写真をアップロードすると、ガールフレンドと一緒の写真が「ゴリラ」 とラベル付けされた 。グーグルのエンジニアはすぐに謝罪文を公表し、ツイッターでは「これはひどい… 一〇〇パーセント間違っている」とつぶやいた。しかしすでに手遅れで、しかも問題の修復は簡単な作業ではなかった。グーグルは解決策として以後数年間、イメージバンクからゴリラとチンパンジーをすべて削除した]。 機械学習は複雑な問題を解決するだけでなく、救命的な間違いを犯す可能性も秘めている。
ＡＩがやらかす「失敗」は数多く報告されている。
そしてＡＩの失敗が増幅されないよう、生成型ＡＩでは、学習にＡＩが作成したテキストは除外することが推奨されたそうだ。
これらの失敗例はすぐに分かったからまだましなほうと言えるだろう。
そして思うのだが、ＡＩが学習する周囲の情報というのは、ある意味、人間が育つときのシミュレーションになっているのかもしれない。
ＡＩの失敗を賛美するつもりは全くないのだが、返す刀は人間にも向く。私は偏見、いいかえれば先入観というものは、デフォルト知識であり、これがあるから人間はいろんな判断をスピーディに行えるのだと思う。
もちろんこれはデフォルトで、その範疇に属する個人と直接会えば、そのデフォルト値は書き換えられる。「〇〇人というやつは」という知識があっても、〇〇人の誰かと知り合えば、デフォルト値には引きずられなくなる。個別のコミュニケーションが大事だという理由だ。そしてそういう個人が増えていけばデフォルト値自体が書き換えられるようになるだろう。
ＡＩがらみのものをあげたけれど、プログラマーが直接ロジックとして入れ込む「最適化」もある。
本書でもとりあげられているが、有名な「５人を助けるために１人を殺すことは許されるか」という問題がある。この問題についても、人命をできるだけ多く救うのが最適とするなら、５人を助ける選択をするようにプログラムするだろうことは全く疑いの余地はないだろう。
可能性があるのは、どんな選択をしても一人は死ぬのであれば、答えを出さずに停止するようにプログラムすることぐらいだろう。
著者が指摘するエンジニアにありがちな誤謬がある。
それは「最適化」を目指す場合、最適化の程度を数値化する必要があるが、その数値を最適化することが目標になるという逆転現象である。また、どれほど重要な要素であっても、数値化ができないということで、「最適化」目標になりえないということも指摘される。
そうして「最適化」は暴走しはじめる。
経営改善などで、数値目標を決めることが推奨されることが多いが、数値化が困難なものは無価値であるとして捨象されがちである。たとえばオフィスにおける雑談は、直接的なプロダクションに結び付けられないものだから、従来多くのオフィスで「私語厳禁」がアタリマエであった。
ところが、新型コロナ禍でテレワークが増えたこともあって、オフィスにおける雑談が実はクリエイティブな活動を活性化するという研究が相次いでいる。（そしてテレワークとオフィスワークの組み合わせが追及されるようになっている。）
経済学における新自由主義も、そうした「最適化」信仰に通ずるところがあるのではないだろうか。
六二郎。
