特集・集中企画
【mocopi開発者インタビュー・前編】VTuberの支援につながるツールにしたい思いから生まれた「mocopi」、その強みと弱みを直接訊いてみた
2023年2月15日 07:00
1月20日に発売日を迎え、VTuberやメタバースのクリエイターたちを巻き込んで大きな話題となっているソニーのモバイルモーションキャプチャーデバイス「mocopi（モコピ）」。
「mocopi」は、500円玉サイズほどの6つの小型＆軽量センサーを頭と手足、腰に専用バンドを使って装着し、スマホの専用アプリと組み合わせることで、誰でも手軽に3Dでフルボディトラッキングできるモーションキャプチャーツール。以前お届けした体験レポートでも触れたとおり、バーチャル世界で過ごすライブパフォーマーや配信者をはじめ、その空間に生きる多くの人々のアクティビティを変える可能性を秘めた革命的なデバイスです。
その証拠に発売日当日にTwitterのトレンド入りを果たすなど、現在もSNSを中心にVTuberやメタバースの住人の間で大変な盛り上がりを見せてみます。
先日の体験レポートに続く今回は「mocopi」開発者への単独インタビューをお届けします。「mocopi」開発の第一人者であるソニーのモーション事業推進室 室長の相見猛氏と、同じくモーション事業推進室所属でVRキャラクターコントロールツール「バーチャルモーションキャプチャー（ばもきゃ）」の開発者でもある佐藤聡氏の、お二方に貴重なお話を伺うことができました。
「mocopi」誕生のきっかけをはじめ、開発者から見たデバイスの強みと弱み、メタバース分野へ期待する活用方法などなど、限られた時間の中ではありましたが、大変多くの質問に包み隠さずお答えいただけたこともあり、濃密な2部構成のロングインタビューとなりました。
前編である本稿では「3Dコンテンツの制作ビジネスに携わる方、VTuberの方々の支援につながるツールにしたい」との思いで開発を進めてきたという「mocopi」の魅力について、その詳細に迫るとともに開発者からのメッセージをお届けします。
続く後編では、相見氏と佐藤氏が考えるアバターコミュニケーションやメタバース文化をはじめ、ファンコミュニティへの熱い想いなど、より大きな視点で今後の展望を語っていただきました。こちらもお楽しみに。
VTuberの支援につながるツールにしたいとの思いから生まれた「mocopi」
――はじめに「mocopi」開発のきっかけについて教えてください。
相見氏：開発に関しては急にというわけではなくて、R＆Dレベルでは3年ぐらい前から小さなIMU（慣性計測ユニット）センサーでセンシングしてさまざまなユースケースに活用していました。
弊社の以前の商品ですと、「スマートテニスセンサー」や「スマートゴルフセンサー」など、スマートフォンのモーションをとるデバイスとして、同じくBluetoothでIMUのデータを送る仕組みのセンサーがありました。技術的には、そうしたセンシング技術をベースに、ソフトウェアやアルゴリズムの開発を進めました。
相見氏：一方、弊社グループの中でエンタテインメント側も含め、モーションキャプチャーをベースにしたコンテンツ制作の取り組みは今後重要になってくるだろうと。例えば、VTuberさんなどの文化も3年前ぐらいから花開いてきていることに着目していました。
――「mocopi」のセンサーについて、改めて詳細を教えてください。
相見氏：加速度センサーとジャイロセンサーのそれぞれ3軸ずつの6軸のIMUを使用しています。
――この仕組みにたどり着いた経緯にはどのようなことがあったのでしょうか。
相見氏：何パターンかバリエーションがあり、IMUにさらにもう1個カメラをつけて絶対値補正をしたり、あるいは加速度とジャイロに加えて地磁気センサーをつけて9軸でドリフトを防ぐということも考えていました。
まず前者のカメラに関しては、検討は継続しているものの、カメラが必要となると「どこでもできる」のを犠牲にして「カメラの前じゃない」と使えない、という話になってしまいます。それでもカメラで絶対値補正するのがユーザー様からの重要なニーズかどうか、実際に商品を出した後のフィードバックも含めて考えたいと思っています。
地磁気センサーに関しては、すでにハードウェアを作っているので後から地磁気センサーをつけることはできないのですが、地磁気センサーを使わなかった理由の1つには、地磁気センサーは周りの電磁波・環境に非常に影響を受けやすく、配線がたくさんあるような部屋ではかなり乱れてしまいます。そのため、地磁気センサーで絶対値を補正をするよりは、頑張って6軸のジャイロセンサーや加速度センサーだけでやった方が汎用性が高いと判断しました。
――「mocopi」はその部分を機械学習で補っている形でしょうか。
相見氏：そうですね。機械学習も含めたアルゴリズムで補正しています。
――「mocopi」をかわいらしくてポップなデザインにしたきっかけを教えてください。
相見氏：理由の1つとしてはファッション的な観点です。なるべくみんながもっと気軽に「かわいい」と言って触っていただけるようなものを作りたかった、ということです。それと、楽しくエネルギッシュに体を動かすことを考えたときに、ポップな方がみんな動いているというイメージでした。楽しく笑いながら動くのようなところは、あまり暗い感じではなくてポップな感じかなというところで、色味を考えてこのようなデザインにしています。
センサーの点数を極限まで少なくしたのは「mocopi」の強みでもあり、弱みでもある
――それでは開発者の視点で「mocopi」の強みと弱みを教えていただけますか。
相見氏：まず強みに関しては、見たままのセットアップでわかると思うのですが、これまでのものに比べて圧倒的に小型・軽量で簡易セットアップというのがまず1つです。そしてそのセットアップを駆動する計算機がスマートフォンで済むところです。
「mocopi」とスマートフォンを組み合わせることで、このモーションキャプチャーデバイスのセットを持ち運べるので、実際に全部入れたとしても巾着袋1袋分くらいに収まるんですね。持ち運べるモーションキャプチャースタジオのようなイメージで使えるところです。これまでもそのようなタイプの商品は競合も含めてありますが、研ぎ澄ませることができたと思っています。
一方で、弱みについてはこのアルゴリズムの特徴なのですが、加速度をきちんと取れないとなかなか難しい部分があり、通常の日常の動作であれば特に問題はないのですが、極端にゆっくり動いているような動作だと、センサーの加速度のデータがしっかり学習モデルに反映されなくて動きがあまりきれいに取れない部分が出てきます。
また、センサーの点数を極限まで少なくしているため、ある程度は機械学習で補完しているのですが、その機械学習でも含めたトータルの精度に関しては、より高級なセットアップで行なうものと比べると、精度感で負ける部分などがあります。
――先日「mocopi」を体験させていただいたのですが、「恐れず動いてください」というのがすごく印象的ですよね。
相見氏：先ほどお答えした内容と重なりますが、特にカメラを使わなくてもいいようにした1つの理由が「カメラの視野角より離れてもいい」ところです。もう本当に踊ったりするぐらいのレベルで動いていただくのが一番真価を発揮できると思っています。
あとはカメラでは難しいこととして、手を振るような場合も常にカメラに映っていなければいけないんですよね。そういった点で、「mocopi」では動きに自由度が増して表現が可能になったと思っています。
――機械学習で人の動きを想定していると思うのですが、ユーザーが使っていく途中やアプリケーション側のアップデートで、精度がよくなる可能性はありますか。
相見氏：前者のお客様の使用データ、モーションデータを収集することはしていませんので、使用に応じて精度が上がっていくような仕組みは入っていません。モーションデータもヒューマンデータですので、取り扱いは非常に気をつけなければいけないと思っています。
一方で、ソフトウェアのアップデートについては、開発期間中も含めて日々アルゴリズムの改善に取り組んでいますので、どこかのタイミングで折にふれて、ソフトウェアアップデートの形で進化をお伝えしていきたいと思っています。
――リキャブレーションの頻度の目安について教えてください。
相見氏：2通りありまして、単純にポーズを正面に戻すのと、ヘタってきた時にキャリブレーションからやり直す方法があります。ポーズを正面に戻すのは、実は3秒程度直立してるだけで戻るので、それを挟みながらであれば30分くらいは問題なく使えますね。
一方、きれいにキャリブレーションをしてベストパフォーマンスを維持したい場合、例えば、映像制作用途であれば、なるべく15分ほどで1回ぐらい、直立して1歩前に進む簡単なキャリブレーションをお勧めします。
「mocopi」のキャリブレーションは、従来の概念的にいろんなポーズを一通りやって……というのは必要なく、普通に直立で3秒間待っておくとか、もっときちんとするにしても1歩前に出るとかなので、適宜自分の中で少し動きがヘタってきたなと思ったら使っていただければと思います。
――ソフトウェアが今後アップデートされて対応スマートフォンが増えていく可能性はありますか。
相見氏：今日時点で商品サイトに掲載されているスマートフォンに関しては、あくまで我々が検証チームとして目視確認をして、社内の規定パフォーマンスで動作確認をしたものです。公式サイトに記載されている対応スマートフォンは「ソニーによる動作確認が完了済みのデバイス」とご理解ください。
ローエンドの端末でできるかは、やはり限度はありますね。マシンラーニングをかけつつ3Dレンダリングをしているので。そこも検証端末を増やしていく中で、「ミニマムのスペックはこれです」のようなものを出していけるようにしたいと思っております。対応端末も今後のソフトウェアのアップデートで広がるかもしれません。
――ソニーの製品は「ちょっとだけ高い」というイメージがあると思うのですが、その中で今回出された49,500円という販売価格は、競合商品と比較するとかなり安い価格を提示されていると思います。この価格については何か意図があるのでしょうか。
相見氏：この商品が提供している価値に対して、ユーザー様がどの程度対価を払っていただけるのかをかなりしっかり調べました。ほかの商品との比較というより、あくまで「すごく安い」と言っていただいているのが、我々としても頑張った甲斐があったところです。やはり実際にモーショントラッキングを体験したことがある方々に「安い」と言っていただいているのかなと思います。
初めて使う方々にとって、5万円近くというのはそれなりに大きい価格です。そこのバランスを見つつ、コンパニオンデバイスがスマートフォンなので「スマートフォンを持っている方がもう1個スマートフォンを買う」ぐらいの気持ちでできる範囲で、価格は調整して設定していますね。
VTuberから強い支持を受ける「バーチャルモーションキャプチャー」の開発者がなぜ「mocopi」チームにジョイン？
――佐藤氏が「mocopi」の開発チームに参加したきっかけを教えてください。スカウトなのでしょうか。
相見氏：VTuberさんへのユーザーインタビューを行なってきた中で、かなりの数のVTuberさん、特に事務所に所属しているような大手のプロのVTuberではなくて、個人の方々が実際に自分たちのコンテンツをYouTubeなどに配信する際に、「バーチャルモーションキャプチャー」というソフトを使っていることをかなりの頻度で伺っていました。
当時は「mocopi」のことをコードネームで呼んでいましたが、「この商品はバーチャルモーションキャプチャーに対応しているんですか？」という声がすごく上がってきて、私は恥ずかしながらその当時「バーチャルモーションキャプチャー」というソフトを知らなかったのですぐに調べると、あきらさん（sh_akira）という方が作っているのを知ってすぐにコンタクトしたところ、いろいろ気があって参加していただけたということです。
――勉強不足で大変恐縮なのですが、「バーチャルモーションキャプチャー」はかなりダウンロードされているのでしょうか。
佐藤氏：そうですね。VRを使ったりして全身を動かすアプリの中ではかなり多い方だと思っています。そうしたトラッカーをつけてVTuberを始めるとなると、最終的に「バーチャルモーションキャプチャー」に行き着くみたいなところがありますね。
――ちなみに、佐藤さんが「バーチャルモーションキャプチャー」を作られたきっかけはなんでしょうか。
佐藤氏：もう4年前の話になるのですが、VTuberが出始めの頃です。その当時は全然関係のないエンジニアをしていたのですが、ねこますさんだったり、いわゆるVTuber四天王のように言われてた頃のものを見て「自分もVTuberを作りたいな」と思い、アプリを作り始めていたんですね。
その頃、VRゲームの実況プレイ動画を撮るときは、ゲーム画面とプレイしている動きを反映したアバターを横に並べて表示するために、VR機器とモーキャプスーツを両方、体に装着していたんですよね。そこでTwitterで「VR機器で動きが取れているのに、なんでモーキャプスーツが必要なんだ」といったツイートを見て、「たしかにそれはVR機器だけで撮れるでしょ」と思い、VTuberアプリを作り始めていたのもあり、もうその日のうちに試作品ができたという感じでリリースしました。
そうしたらすごく反響があり、そういったことをやりたい人が多いのが見えたので、そこからはもうみんなに使えるようにリリースして、その時からずっとオープンソースでやっているのですが。ずっとアップデートを続けていまの形になっていますね。
本当はほかの方に協力してもらって自分がVTuberの運営をしようとしていたのですが、その環境をみんなに提供したほうが世界が広がって面白いなと思って配布している感じですね。
――その化学変化といいますかマッチがあり、佐藤さんが「mocopi」のチームにジョインすることで、いまの「mocopi」の形として「バーチャルモーションキャプチャー」やUnityに対応するアプローチになったのですね。
相見氏：そうですね。今回この商品の開発を通して重要だと思っているのが「実際にお客様の声を聞いてから作る」ところです。これはソニーの商品化のアプローチとして新たなチャレンジでもあります。商品を作ってお客様のフィードバックを得るよりは、お客様のセグメントが非常に見えているので、それが見えているのであれば、商品開発の段階で、直接話しに行くのがいいという発想です。
その中で開発者であれば、Unityなどに接続するのはやはり需要が高いところなのですが、一般のライバーさんが使いたいソフトウェアがあるなら、それは対応すべきという形で優先度をつけました。
――佐藤さんとの役割分担は「バーチャルモーションキャプチャー」との連携回りなのでしょうか。
相見氏：役割分担的には、あきらさんも「mocopi」対応の開発もしています。あくまで「バーチャルモーションキャプチャー」はソニーではなく、佐藤さんの個人事業主として行なっているオープンソースですので、それはソニーが管轄しているものではないです。「mocopi」チームのキーエンジニアとして「mocopi」のソフトや対応も、そのほかのチームメンバーと一緒に担っています。
ソフトウェアは今後も拡張予定。SDKで世界がさらに広がる
――今回「mocopi」と連携できるソフトウェアとして「バーチャルモーションキャプチャー」やUnityなどがあります。現在、公式発表されている以外のソフトウェアとの連携は考えられていますか。
相見氏：お客様からのニーズが高いものには順次対応を拡充していこうと思っています。実際、CESで展示した映像制作への応用デモは、「Unreal Engine」との連携で実現しています。まだ正式対応はしていないですが、そういう形でニーズがあるところには対応を広げていく方針です。
[?1分でわかる！ Sony CES?2023 #2]?
— Sony Group - Japan (@SonyGroup_JP)January 8, 2023
気軽にモーションを取り込める、ちいさくて、かるい、モバイルモーションキャプチャー "mocopi?"が、映像クリエイターの創造性を解放。?#SonyCES#VTuber#Sony#CES#FutureSony#mocopipic.twitter.com/te7Y006r2a
――それはスマートフォン側のソフトウェアをアップデートすることで、連携可能なアプリケーションが増えていくイメージでしょうか。
相見氏：スマートフォン側で変更が必要なものはスマートフォンアプリケーションのアップデートですし、「PC側で受けて何かしたい」ところには、PC側の方にレシーバーを作っていくアップデートの方法もあります。例えば、MotionBuilderとUnityに関しては、PC側のレシーバーを用意していてスマートフォン側に同じ方式で送っています。
一方でVRChatは、VRChatが指定するOSCの規則に従って送る形で、スマートフォン側で処理を変えています。さまざまなパターンがあると思いますが、いずれにせよソフトウェアで、スマートフォンかPC側のソフトウェアのアップデートで対応する形です。
――ちなみに同じソニーつながりで「PlayStation VR2（PSVR2）」との連携はいかがでしょうか。
相見氏：「PSVR2」に関しては、ソニー関係というところでSNS上などでも「mocopiと繋がるのかな？」といった声をたしかにいただいています。
「mocopi」としては、実際にこの商品をお使いになる方々にとって「ぜひ繋いでほしい」というニーズの高いサービス・デバイスへの対応を、ソニーグループ内外問わず、検討していきたいと考えています。
――SteamVRとの連携も視野に入っていますか。
相見氏：はい、検討しています。
――例えばなのですが、すでにSDKは公開されていますし、UDPで送信する機能があるので、ユーザーの技術力次第ではアプリケーションを作成すれば、いまの段階でもつなぎ込みは可能なのでしょうか。
相見氏：オフィシャルにアプリを仕組みで提供するかについては検討中ですが、野良アプリを作っていただく分にはどうぞ、という感じです。
野良アプリでも基本的にフリーなオープンデベロップメントはどんどん作成していただきたいです。この世界観を広げる観点でも「みんな無料で使ってね」というのは、ぜひ我々としても支援していきたいと思っています。もちろん「これを使ってしっかりお金を稼ぎます」といったニーズには、別途ビジネスの座組にて対応しております。
【mocopi開発者インタビュー・後編に続きます】
著者プロフィール：でんこ
バーチャルに活動の場を移したゲームライター。得意分野はビデオゲーム全般だが、最近はメタバースへの関心が強い。
ライターとしてさまざまなメディアで執筆する一方、メタバース内ではラジオパーソナリティや、DJなどの活動を通して、メタバースの魅力を多くの人に伝えるべく活動中。
・著者Webサイト：https://note.com/denpa_is_crazy/