DNP、スマートグラス向けに解説音声を感情豊かな字幕で表示するシステムを開発

　大日本印刷株式会社（DNP）は1月22日、聴覚に障がいがある人もアート作品が楽しめるように、ガイドスタッフや体験会参加者の音声などをテキストにして、スマートグラスに字幕表示するシステムを開発した。

　このシステムでは、テキストデータの内容に合わせて、最適なフォントを表示する「DNP感情表現フォントシステム」を活用している。同社によると、美術館や博物館では、アート作品や文化財などについて、年齢や障がいの有無、母国語の違いなどに関わらず、必要な情報がより多くの人に届き、意思疎通が可能となるユニバーサル・コミュニケーションの取り組みを進めているという。

　そこで同社では、美術館・博物館などに向けて、ヘッドマウントディスプレイ（HMD）やスマートグラスを使用したガイダンスシステムや、新しい鑑賞システムなどを開発・提供している。そうした取り組みの中で、MR（Mixed Reality：複合現実）や文字フォントなどの技術・ノウハウなどを掛け合わせ、スマートグラスに音声を字幕で表示するシステムについて、開発パートナーであるアイシンの協力のもとで開発した。

　同システムは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」における「先端サービス実装分科会プロジェクト」として採択を受けている。このシステムにより、リアルタイムで音声を認識し、スマートグラスに字幕を表示することが可能。また、スマートグラスに接続した指向性マイクを、解説者などに向けることで、聞きたい方向の音声を拾って字幕に表示することができるという。さらに、テキストデータの内容を自動解析。表現された感情や話題に合わせて、自動的にフォントを切り替える「DNP感情表現フォントシステム」を活用する。

　音声をテキストにした際に、単語が持つ感情やイメージに合わせて、最適なフォントや色を自動的に選択して表示する。例えば、楽しそうな表現・単語はポップなフォントや明るい色で、悲しそうな表現・単語は繊細な印象のあるフォントや寂しい色で、作品名などは太めのフォントや赤色で表示できるという。同社では、フォントや色が変化することで、感情やイメージを読み取りやすくなるだけでなく、テキスト内の重要な部分に目が行き、理解しやすくなるとしている。

　同社では、1月27日、28日、2月3日、4日の計4日間（午前の部10時30分〜12時00分、午後の部13時30分〜15時00分）、東京都庁内にあるパブリックアートを対象に、同システムを活用した鑑賞体験会を実施する。各回10名まで。申し込み多数の場合は抽選。体験会において、同システムの効果や課題を検証。今後は、スマートグラスを利用したMR体験について、機能や用途の開発等を継続するとともに、ユニバーサル・コミュニケーションの一助となる製品・サービスを美術館・博物館や企業・自治体などへの展開を目指す。

プレスリリース
パブリックアート鑑賞体験会申し込みフォーム