どんな「ヘイトスピーチ」も見逃さない人工知能、ヤフーが開発

ネット上のコメントにヘイトスピーチが含まれているかどうかを正確に識別できる「罵り検知アルゴリズム」をヤフーが開発した。ヤフーのアルゴリズム（PDF）は、テストケースの90パーセントで罵りコメントを正しく識別することができた。論文によると、ディープラーニングなどの「最新式」の手法よりも性能がいいという。

現状では、罵り言葉を検知するプログラムはそのほとんどが、コメントに含まれるヘイト的な語句を探し出す仕組みになっている。ヘイト投稿によく使われる特定のキーワードがコメントに使われていたら、アルゴリズムがそれを「罵り」だと判断し、コメントを自動的に削除するか、モデレーターに転送して確認をする。

しかしこのようなキーワードに基づくシステムは、微妙な種類のヘイトスピーチをとらえるのが得意ではない。荒らしが曖昧な罵り言葉を使う場合はフィルターをすり抜けてしまうし、これといった罵り言葉を含まないヘイト投稿もありうる。

また、従来のアルゴリズムは、辛辣なコメントを罵り言葉だと間違えてラベリングする可能性があるし、ヘイトの新しい表現を認識できないことがある。文法的に正しい英語で書かれている、という理由で荒らし投稿を見過ごしてしまうこともある。

600時間分のドラマを観た人工知能による「人間行動の予測」の精度

ヘイト発言のAI「Tay」と女子高生AI「りんな」の差

「ネット荒らし」を予測するアルゴリズム

正確なアルゴリズムは、人間が育てることで生まれる

ヤフーは、最高に正確なヘイト検知アルゴリズムを開発するため、キーワードに基づくシステムを超えたシステムを開発しようとした。そこで、「Yahoo! News」と「Yahoo! Finance」の記事に付いた罵り言葉のコメントとそうでないコメントで構成されたデータセットを用い、コメントの長さ、侮辱語の数、および句読法をアルゴリズムに分析させて、罵りのメッセージの典型的な特徴を割り出した。

また、訓練を受けた人間の評価者が、同じコメントの集まりを分析し、罵り言葉であるかどうかを評価した。これを、人間から見れば無条件に罵りだとわかる投稿についてアルゴリズムを訓練するのに役立てた。「暗黙の罵り」を見分ける人間の能力を生かそうというわけだ。

ヤフーはさらに、アマゾンのサイト「Mechanical Turk」を利用して、罵り言葉の評価をアウトソースした（Mechanical Turkでは、誰もがサインアップして、画像の分類や言葉の分析といった一定の人間の知能を必要とする仕事ができる）。

今回の研究では、訓練を受けていない人が、ネット上のコメント1件あたり0.02ドル相当の額で、罵り言葉かそうでないかの分類に取り組んだ。ヤフーの訓練されたスタッフに比べると、Mechanical Turkの作業者は検知の成績がかなり悪かった。このことは、罵りの検知にはよく訓練された人間のスタッフの存在が重要だということを示している。

アルゴリズムはヤフーのデータベース以外ではテストされていないが、同社はこのアルゴリズムは自然言語処理における「大きな前進」だと自信をもっている。罵り言葉のデータベースは「Yahoo Webscope」でまもなく公開される予定だ。

TEXT BY MATTHEW REYNOLDS

TRANSLATION BY RYO OGATA/GALILEO