AI認識による手話学習ゲーム「手話タウン」

手話通訳の中に手話を見て日本語にする「読取通訳」があるが、学習のためには動画を繰り返し見るという方法がある。その場合「この手話はどういう意味だろう」という見慣れない単語が出てくることがあるが、音声や字幕がついていない動画では調べ用がなくて困ることもある。手話は日本語を手話にするための辞書などはあるが、手話を日本語にする辞書がないのが難しいところだ。

そんなことを思っていたら、ろうの知人から「手話タウン」というものがあることを教えてもらった。「手話タウン」は日本財団が国連の「手話言語の国際デー」（9月23日）に合わせて開発したシステム。「ICTを活用してより身近に、より気軽に手話の学習を始められる教材」として、日本財団と香港中文大学が共同で開発を進め、Googleおよび関西学院大学の協力により完成した。

 「手話タウン」は手話学習ゲームだが、ICTやAIによる手話認識技術を搭載しており、通常は平面しか認識しない一般的なカメラを使い、体の動きや表情、うなずき、口形等の立体的な手話の動きを認識する。

ゲーム内では、手話が公用語の架空の町を舞台に、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、様々なシチュエーションに沿った手話をゲーム感覚で学ぶことができます。また、手話に触れたことがない人から日常的に手話を使う人まで幅広く対象としており、手話のみならず、手話を第一言語とするろう者の文化についても理解を深めることができる情報をゲーム内にちりばめています。

私も実際に使ってみたが、手話の動きを読み取って判断されるのがなかなか楽しい。今までも手話のゲームはあったが、画面のなかに表示される手話や指文字を読み取るなど、読取り中心のゲームだけだった(それはそれで楽しくて勉強になるが)。「手話タウン」は実際に手を動かして「表現」を行うので、これをきっかけにして手話に興味を持つ方が出てくるのではないだろうか。そんなことも思わせてくれる、新しいタイプの手話ゲームだ。

signtown.org

いいねと思ったらポチッと応援をお願いします！