みくだん

お手軽バーチャルキャラ表示ソフト『Hitogata』紹介

2018/02/11
Hitogata関連 0
Vtuber MikuMikuMoving
　MikuMikuMovingや関連ツールを開発されているMoggさんが、手軽にバーチャル
Youtuberになれるような簡単なソフトを新たに開発しました。
　『Hitogata』（人形の意）というソフトです。
Hitogata画面 
　まだ開発が開始されたばかりで、Alpha3版となっていますが、現段階でもかなり遊べる機能が盛り込まれているので、お薦めです。


■このソフトについて

『Hitogata』は簡単に言うと、モーションキャプチャソフトではありますが、キャプチャー専用の機器などは必要ありません。
　Webカメラが一台あれば稼働し、プログラム側で勝手に人の顔を認識して、その動きに追従してくれるソフトです。
　これを使う事で、お手軽にバーチャルYoutuberごっこが出来るというものになっています。


■必要環境

　Windows 7以降で、DirectX11が使えるグラフィックボードとドライバ、そしてWebカメラ、もしくはKinectがあれば動きます。
　動作が軽いかどうかはCPU/GPU次第となりますが、少し古めのノートでも稼働する事は確認できました。
　Kinectは通常、Webカメラとして使用できませんが（専用のソフトなどが必要）、MMDのdllやMMM制作者でもあるMoggさんならではで、KinectもWebカメラの代用として使用する事ができるようになっています。
　ただし、最近のWebカメラは高性能・高精度なので、それと比べるとかなり精度が落ちる形にはなります。深度センサは使用していません。


■フェイスキャプチャリングについて

　このソフトではOpenCV系のOpenFaceというライブラリを使用しています。Webカメラから送られた画像ソースを分析し、人間の顔を認識するというものです。
　認識精度はディープラーニング技術を使用して、荒い画像からでもより精度の高いものとなっています。
　また、Hitogata側で動き平均化も計算されており、なめらかな動きがキャプチャできるようになっています。
　認識範囲は、眉・目・鼻・口・顎（顔輪郭）、そして頭全体の位置情報（カメラを起点としたもの）となっています。


■入手先

　Moggさんのブロマガ（ニコニコ）から辿る事が出来ます。
　不具合報告等も、このアドレスから辿り連絡が取れる筈です。


■使い方

　Webカメラ（もしくはKinect）を予めPCに接続しておきます。
　次に、『Hitogata.exe』を実行します。
Hitogata_A02.png 
　起動直後はこのような画面になります。
　この後は、『FaceTracking』のボタンを押せばキャプチャが開始されます。
　Kinectをカメラとして使う場合は、『FaceTracking』を押す前に、『Kinectカメラを使用』にチェックを入れてから、ボタンを押して下さい。
（一度、FaceTrackingを止めてからチェックを入れても有効になります）
　暫く時間が掛かりますが、認識が開始されると別画面が立ち上がります。
Hitogata_A03.png 
『tracking_result』ウィンドウが開かない場合は、Webカメラのドライバに問題がある可能性があります。
　ウインドウは開くが、上図のように顔認識がされない場合は、カメラの前で軽く顔を動かすなどをしてみてください。認識まで時間が掛かる場合もあります。

　認識されたら、モデル欄から好きなモデルを選んでクリックすれば、メインウインドウにキャラクターが出現して、リアルタイムに動き始める筈です。
　モデル選択を先にしてから、Tracking開始でも問題ありません。

　現在モデルはプリセットの中からしか選べず、ユーザーが独自に追加する事は出来ません。
　今の所、Moggさん自身が作られた『けものフレンズ』の3Dキャラだけが選べるようになっています。
　もちろんキャラクターの版権の問題もあるので、収益が得られるYoutuberとして使う事は出来ません。個人レベルで生放送などで楽しむ範囲に限られます。

　トラッキングの精度やスピード（FPS）などはカメラの性能に依存します。
　古いノートパソコンなどの低性能なカメラだと、それ自体が10fps～15fpsしか取れないタイプもありますので、別途Webカメラの導入を検討してみてください。
　最近のは、HD（1280x720以上）で取れて30fpsのスピードが出るものでも、数千円で買えるものが出ています。


■Hitogataの各設定項目と使い方の説明

　Hitogata_A04.png
â–¼FaceTrackingé …ç›®
　『FaceTracking』ボタンで、トラッキングの開始・停止を行います。押す前に、カメラの角度や調整、カメラレンズの前に顔が来るようにしてから押すと正しく認識してくれます。
　部屋が暗かったり距離が遠かったりすると認識できない場合もありますので、環境の確認はしておいた方が良いでしょう。
　とはいえ、一般的な蛍光灯の下でも十分に認識するので、顔に対してライトを当てる必要はありません。逆に明るすぎると顎輪郭の認識が外れる場合もあります。

　『リセット』ボタンで、再認識を行います。カメラの正面に顔を向け、口を閉じた状態でこのボタンを押すことで、口や眉、目などが正しく認識されやすくなります。時折押すと良いでしょう。

　『モーションRec』ボタンで、記録の開始、停止が行えます。
　停止すると同時に、ファイルダイアログが出て、MMD/MMMで使用できるVMDファイルが保存できます。
　保存されるボーンとモーフは以下の通りです。

記録ボーン：上半身・上半身2・首・頭・右目・左目
記録モーフ：あ・い・う・まばたき・眉（上）・眉（下）

　あ：口を縦に開いた時に、このモーフが適用される
　い：口を横に開いた時に、このモーフが適用される
　う：口をすぼめた時に、このモーフが適用される

　基本的には30fpsのベタ打ちで記録されますが、処理落ちや認識が外れた場合は、記録フレームが抜けた状態になる事もあります。
　標準モデル系のボーンとモーフなので、ほとんどのモデルに適用できますが、特にモーフはモデルによって影響度の差が出やすくなったり、小さくなったりします。
　色々試してみてください。

　『まばたき認識』ボタンは、その名の通り瞬きを認識するかどうかのチェックボタンです。デフォルトではオフになっており、キャラは瞬きや目を閉じたりしません。
　顔認識の中でも瞼の認識は難易度が高く、カメラの精度が良くないと顎を引いただけで目を閉じてしまったりします。
　これも環境の明度やカメラの精度による影響があるので、色々工夫が必要な部分でもあります。

　『Kinectカメラ使用』もチェック名と同じで、KinectをWebカメラ代わりに使う場合に使用します。『FaceTracking』を押す前にチェックのオン・オフを行って下さい。

　『カメラ画像』のオン・オフスイッチは、『tracking_result』ウインドウに、Webカメラで撮れている画像を表示するかどうかの機能です。デフォルトではオフになっています。
　顔バレや部屋バレにならないよう、このスイッチの扱いには気をつけましょう。
　部屋環境やカメラの位置調整、認識のチェックなどをする時には便利ではあります。


▼『画面』項目
Hitogata_A05.png 
　『描写』枠内：『別』ボタンは、描写ウィンドウを別ウィンドウ化させます。生放送用ツールなどで使う場合に便利です。
（生放送用ツールによっては、ウインドウ単位でキャプチャを選べるものも多いので）
　大・中・小はそれぞれ、描写の大きさを選べます。デフォルトでは『中』になっていますが、特にウインドウサイズなどを弄っていない場合は、『小』と同じ大きさになっていると思われます。
　正しく測っていませんが、小で640x480、中で1280x720、大で1920x1080相当ではないかなと推測しています。

　『アスペクト』枠は、画面の比率を選べます。16：9と4：3の二種類から選びます。ゲーム実況などで、画面の端に配置するなどの場合では、4：3の方が楽で、若干ではありますが負荷が下がる可能性もあります。
　
　『背景色』枠は、背景の色が選べます。カラーキーなどで抜く場合に利用すると良いでしょう。プリセットモデルの特性上、緑をカラーキーにする事をお薦めします。
（青だと、若干モデルの一部分がカラーキーで抜けてしまう場合があります）

　生放送だけではなく、動画記録として使う場合にも、『別』ウインドウ化と『背景色』を使うと便利です。


▼『部屋』項目
Hitogata_A06.png 

　単色の背景と組み合わせて使う事もできる背景モデル選択のタブとなります。
　Alpha3バージョンでは、背景モデルなし、広い床、MC机セットの３種から選ぶ事が出来ます。

　
▼『カメラ』項目
Hitogata_A07.png 
　３台分のカメラ位置の記憶と呼び出しが出来ます。
　ボタンの上で右クリックする事で、初期状態のカメラに戻す事が出来ます。

　メインの描写画面の方でカメラの操作を行います。基本的にはMMD/MMMと同じように、マウスの右ドラッグでアングルを変える事ができます。ズームはマウスホイール、位置はセンターボタンドラッグです。
　モデルの目線はカメラ目線になるよう、自動追従しています。


▼『モデル』項目
Hitogata_A08.png 
　このウィンドウ枠の中からキャラクターを選びます。
　現時点ではプリセットキャラのみの使用となり、独自で追加する事はできません。
　31体の中から選べますので、好きな子を選んで下さい。
　MMD/MMMと同じく、髪や服の物理挙動もするようになっています。


▼『モーション』項目
Hitogata_A09.png 
　『Hitogata』では基本的に顔周りのトラッキングしかしていませんので、腕などの動きはこのボタンを使用してエモーションを表現する事となります。
　ボタンを押しっぱなしにする事で、モーションが再生されます。ボタンを離すと、初期状態の動きに戻ります。
　初期では12種類の動きが登録されています。
　『笑み』スライダは、口の端を釣り上げてニコリとさせる程度調整スライダとなっています。
　モーション再生ボタンとなる『モーション』枠ボタンは、ユーザー側が独自に追加する事も出来ます。追加方法は、別のエントリにて説明します。



以上が『Hitogata』の使い方の説明となります。
MMD/MMM同様、かなりお手軽に楽しめるソフトなので、是非使ってみて下さい。


関連記事

Comments 0

There are no comments yet.
かんな＠バーチャルJC
Admin: かんな＠バーチャルJC
ニコニコ動画などでMMD動画をうｐしてるしがないユーザーの一人。
バーチャルJC。文筆系の活動もしています。

VRChat & clusterユーザー：kanna3939
継続プレイゲーム：ウマ娘、原神、鳴潮、ゼンレスゾーンゼロ
Steamゲーム：Factorio、Satisfactory、
Hitogata関連