Live2D+FaceRigで初音ミクになってみる

わざわざ動画で３０歳を超えた小太りのオタクのオッサンの面を見ていたいという人はさほど多くないだろう。ただ楽して動画に合わせたリアクションは欲しい。そんなわけで、自分の描いた絵を3Dモデルとして起こして、ウェブカメラで撮影した自分の表情に合わせて動かしてみる。そんな風に言うと複雑そうだけど、Live2DとFaceRigを使えば簡単にできる。
レイヤーに分けて絵を描くことができるなら、それ以外の作業はまとめて１時間もあればできる。



ちなみに完成品はこんな感じ。
オッサンの顔が見えないのでわかりにくいが、内側ではオッサンが初音ミクと同じような表情を作っている。

今回の全体図はこんな感じ。

Webカメラと3Dモデルを対応付けるのはFaceRigという\1,480で売っているソフトで行う。これはWebカメラさえつなげればカメラに映っている人の表情を読み取って、3Dモデルに反映してくれるというもの。もともとゲームの実況なんかのために作られたものなのでSteam上で売っている。シンプルなソフトなので悩むところはない。

今回はこのFaceRigで使う3Dモデルを作るのだけど、そのためにLive2Dという2Dの絵を簡単に3Dっぽく起こすソフトを使う。こっちはFaceRigに比べるとややこしいところもあるが、日本のメーカーが作ったものなので日本語のドキュメントや解説動画がある。ちなみにLive2D moduleというのがFaceRigでLive2Dのモデルを使うためのもので、FaceRigのDLCとしてSteam上で\398で売っている。買えば勝手に使えるので特に気にすることもない。

Live2D

Live2Dはもともと2Dの画像に、ゲームの立ち絵アニメーションみたいなちょっとした瞬きとか、口の動きみたいなものを簡単につけられるようにするソフトっぽい。一応個人ならFree版を利用することができる（機能制限はある）。

使い方については公式のチュートリアルが充実しているので以下など見ると良い。

http://sites.cybernoids.jp/cubism2/video/workshop

私の制作動画で行っていることとしてはPSD形式でレイヤーごとに絵を取り込んで、それにFaceRig用のテンプレートを適用してだいたいの動きを設定したあとで、横を向いた時のりんかくや、口の開き方など上手く動かない箇所を細かく直すという感じだ。

動きの調整については、口が閉じてる⇔口が開いている、右目が笑っている⇔右目が笑っていない、みたいに各表情や顔の向きごとにキーフレームが振ってあるので、そのキーの位置に対応する表情になるように3Dモデルの向きや、各頂点の位置を引っ張ったりするだけである。私は3Dモデルの作成の経験は殆どないが、それでも特に違和感なく作業をすすめることが出来た。

調節ができたら、mocファイルの書き出しを選んでモデルを書き出す。ファイルは複数ファイルが出力されるので、あたらしくフォルダを作成した方が良い。

FaceRigへの取り込み

FaceRigへの取り込みは、単純にモデルが格納されているフォルダを追加することで行う。

フォルダの配置場所はSteam上のFaceRigのプロパティ＞ローカルファイル＞ローカルファイルを閲覧から、Mod\VP\PC_Common\Objects以下に任意のフォルダ名で作成する。このフォルダ名は、さっき出力したファイルの名前と一致している必要がある(miku.mocで出力したならmikuというフォルダ名である必要がある）。

作ったフォルダ内にLive2Dで出力したファイル＆フォルダを置けば取り敢えず動かすことはできる。このほか、ico_(フォルダ名).pngでサムネイルを作ったり、他のモデルの情報を見る限り、モデル名や概要の設定を書いたり、表情では出せない特殊動作のモーションを作ったりできるようだが詳しく調べていない。ともあれ、他のモデルのフォルダを設定方法なんかはたぶんわかると思う。

FaceRigからの出力

というわけでFaceRigで動作させることはできるようになった。
通常のゲーム実況などなら、ゲーム画面の右下なんかにそのままFaceRigの画面を置いておけばWebカメラ付きの実況みたいな感じになるだろう。その他の用途に使う場合は、録画をファイルとして出力するか（ただ形式がwebm限定なのでやや辛い）、ブロードキャストを選べばWDM形式のWebカメラとして動画を出力できるので、ほかのソフトを使って合成したり録画したりすればよい。

今回の私の動画の場合、動画の編集を終えたあとで、FaceRigを音声検知のリップシンクに変更して、編集後の動画を再生しつつ表情だけWebカメラから取り込み、その動画をブロードキャストしてAG-Webカメラレコーダーというソフトで録画している。FaceRigは背景をグリーンバックにできるので、それに設定して、編集時にクロマキー合成でキャラクターだけにしている。

というわけで、ざざっと説明したが、自分の書いた絵が自分の表情に合わせて動くというのは、なかなか面白い感じがするものなので、みんなもためしてみると楽しいと思う。

＊

マイクロソフト HD Webカメラ LifeCam HD-3000 v2 T3H-00017

posted with amazlet at 16.01.09

マイクロソフト (2012-11-02)
売り上げランキング: 3,575

Amazon.co.jpで詳細を見る

使ってるWebカメラ。

俺の初音ミク１３／またはタブレットがほしい話

タブレットがたまに非常に欲しくなって、ペインターエッセンシャルとかついてる大きいの買うか！　とか思っちゃうんだけど、そんなにPCで絵を描くこともないし、今の小さいやつでも全然使えてるし、だいたい腕も無いのに道具が欲しくなっちゃうのは駄目だし、とか思って我慢する。
で、我慢するために一個絵を描くとおさまるんだけど、困った。
なんか一枚描いたらより楽しくなってきた。
タブレットほしい。

＊

Wacom ペンタブレット Mサイズ ブラック フォトショップエレメンツ&ペインターエッセンシャル付属 Bamboo Fun CTH-670/K1

posted with amazlet at 13.05.17

ワコム (2011-10-03)
売り上げランキング: 4,753

Amazon.co.jpで詳細を見る

これがほしい。

プリンストンテクノロジー 急速充電式ペン付属スリムペンタブレット Slim Pen Tablet with a rechargeable pen PTB-STRP1

posted with amazlet at 13.05.17

プリンストンテクノロジー (2012-02-01)
売り上げランキング: 808

Amazon.co.jpで詳細を見る

節約してこっちでもいい。

俺の初音ミク１２

見つけた！

俺の初音ミク１１

そろそろ怒られそうな気がしている！

俺の初音ミク１０／子供のこと

日常の中で見つけた初音ミク。

＊

息子がずべしゃーってこけたとかで、ほっぺたと鼻をすりむいて赤くなっている。
ずいぶん泣いたということだけど、自分に置き換えてみて、今現在あれくらい顔面をすりむいてコケたとして泣かない自信が無い。いや別に涙は出ないだろうけど、気持ち的には号泣だと思う。泣いても別に何も変わらないし、声を出しても仕方ないことを知っているから泣かないけど、気持ちは号泣。
一番最近で酷くコケた記憶って、もう十年以上前で専門学校に通っていたころだと思う。アスファルトの壊れてるところに足を取られて膝を痛打したのだけど、もう本当に痛くて立てなくて、地面に突っ伏したまま「うぉおお」とか叫んで何回も拳を地面にたたきつけてたけど、あれも涙は出てないけど気持ち的には泣いてた。泣いてて母親が来て抱き上げて家に連れ帰ってくれるなら間違いなく泣いてた。外出先だったので、母親が来るわけもないので、足を引きずって帰った。
あんまり強さも、性格も子供の頃から変わらない。
せいぜい無駄なことをしなくなるくらいだ。

＊

息子の手は自分の手にそっくりだ。
握ってると自分の反対側の手を触っているときみたいな感じがする。でも小さくて、感覚は無いし、とても奇妙な感じがする。父の手を思い出す感じもある、つまり私の手は父の手に似ているのだろう。
何かすこしどきどきする。

俺の初音ミク９

色を塗ろうかと思ったが色鉛筆がどこにいったかわからない。

俺の初音ミク８

よく、気づくと初音ミクの足元をバッファローマンみたいに書いていることがあります。

俺の初音ミク７、または焦げた粘土と失敗すること

＊

いつまでも放置しておくのもアレだと思ったので、とりあえずスカルピーをトースターに放り込んだ。
事前にざっくり読んだ感じでは、アルミホイルで覆いを作るだの余熱で焼くだのと色々書いてあった。しかしまず普通に焼いてみようと思って、やや温度を下げただけで入れた。５分で嗅いだことのない匂いが広がった。

焦げた。

そりゃそうだ。

さておき、こういう失敗をすることが学習コストを下げるひとつの方法だと私は思っている。

何か新しいことを始めるということがなかなか難しいのは、当たり前ながらそれをどうやればいいのか分からないし、知識で分かっていても感覚として理解できていないからだ。理解していないことを人はやりたいとは思わない。というか、更に言えば、人は上手くやれないかもしれないことをなかなかやろうとしない。
誰だって失敗は嫌なものだし、できれば避けたいと思う。
しかしそう思ってしまうと何も始められなくなる。

私はとりあえず知らないことを始めるときに、どうすれば良いのかと思うより先に、まず好きにやってみて失敗してみようと思う。これは比喩ではなくて、実際に「よしじゃあ失敗してみるか」と思いながら新しいことを始める。
そうして何回か失敗してどうしても上手くいかないと思ったあとで、解説本なりサイトなりをよくよく読み込んでみる。そうすると自分でもうまくできた部分はもう読む必要も無いので、本当に重要な部分に絞ることができ、理解が容易になる。

そういうわけで失敗しよう思うことが新しいことを始める上で重要だと思う。
どうせ自分が作るものがそんなにうまくできるわけがないんだから、気楽にやろう。

俺の考えた初音ミク６

単なる正面絵を描いているときは基本的に何も思いついていません。

俺の初音ミク５、または虐殺器官のこと

初音ミクっていうか単なる俺の日記になってないか、これ。のコーナー。

＊

Amazonの注文履歴が延々残ってることに気づいた。
私の最古の注文は2004年でサムライチャンプルーの一巻目を買っていた。

サムライチャンプルー 巻之壱 [DVD]

posted with amazlet at 13.04.17

ビクターエンタテインメント (2004-08-21)
売り上げランキング: 31,086

Amazon.co.jpで詳細を見る

今見たら中古で１円からあるぞこれどうなってんだ、とかはさておき。
2004年中は７回しかAmazonで物を買っていない。それから数年は似たようなもので、学生時代とそれに続く新卒で入った会社でお金が無かったのかなという感じ。
それからもう１０年近くも月日が過ぎて、今年の四月までで私はAmazonで70回も注文している。もっとも電子書籍を一冊買うとそれが１回とカウントされるので、実際に物を買ったのはもっと少ないはずだけど、それでも３，４日に一回はAmazonで買い物をしている。
そら日本の小売りも圧迫されるわなぁという感じ。

もっとも、そんな話はどうでもよくて。
本当なら自分ですら忘れてしまったようなあれこれが、外部化されてどこまでも集積されていくとき、そこに浮かび上がっていくのはどういうものなのだろうなと思う。それを見るとき、私は私の姿を、誰か他人が私を見たときのようにして見るのだろうか。
それはどんな私なのだろうか。
本当の私は他人が思っているのとちがう、というのは子供の自己形成の途上で良く聞かれるような言葉だけど、自分は自分を客観視できない以上、自分の姿を知ることなんてできないのだから、より真実に近い言葉は、本当の私は私が思っているのとちがう、ということなのではないか。

ただ私だけが私を知れないわけではなく、他人もやはり私を知ることなどできはしない。
行動記録が残されていくことと、アイデンティティについては伊藤計画が虐殺器官で描いていた。
作中で主人公は自分の記憶に残っている母のことを思い、ずっとそのことを考えながら物語は進んでいく。その世界ではいろいろなブログや生活の記録なんかをライフログという形で残せるようになっていて、やがて主人公は死んだ母のそれを見ようと思う。
しかしそこに見えてくる母は、 主人公の思ったものとは違っている。

虐殺器官 (ハヤカワSFシリーズ・Jコレクション)

posted with amazlet at 13.04.17

伊藤 計劃
早川書房
売り上げランキング: 297,122

Amazon.co.jpで詳細を見る

Amazonの記録に依れば私はこの本を2007年の10月27日に買っている。
これを書いた伊藤計画は2009å¹´3月20日に死んだ。インターネット上には2007年の1月7日に彼の最後に書いた記事が残されている。私は伊藤さんがプロの小説家じゃなくてメタルギアや映画の話をサイトに書いていた頃に知って、なんて上手い人が居るんだろうと思って憧れていたので、亡くなったと聞いたときにショックを受けた記憶がある。

まあ、なんとも時間は過ぎていくものだなあなんて陳腐な感想くらいしか湧いてこない。
人はみな消えていき、巨大なデータベースの他にそれを覚えているものもいない。
いつかネット上は死んだ人の更新の途絶えたブログだらけになるんじゃないか。
いや、ならないんだろうな。この地表が墓で埋め尽くされることがないように。忘れて良いと検索エンジンに判定された死者の記録はもはや誰の目にも付かないどこかに埋まってしまうのだろう。そう思えば、案外今と変わらない気がする。覚えている形態と、その期間が変わっただけだ。いつかは忘れられる。

俺の初音ミク４

前にシルエットカメオで切ったやつ。

＊

ビフォーアフターをぼんやり見てて、劇的システムビフォーアフターみたいな番組はどうかと思った。
「拡張を続けすぎて誰も触れないシステム」とか「設計者が失踪したシステム」とか「老朽化で動作可能なOSのサポートが１０年前に切れたシステム」とかひどいのが色々出てくんの。
んで、「XP（OSじゃないよ）の伝道師」 だとか「短納期の鬼」とか「OSS原理主義者」みたいな匠が出てきて、システムを分析しながら「うわーこれは良く持ってましたね。動いてるのが不思議です」だの、「無駄な部分が多すぎる。このハードでもまだ充分行けますよ」だのやんの。
そいで、視聴者は視聴者で関数型言語で作ろうとしたり、明らかにクライアントが必要としていない拡張性を持たしたものを作ろうとする匠を見て、無いわーとか実況すんの。
で、最終的にどの案件も炎上して、みんな憂鬱な気持ちでテレビ消して寝る。

俺の初音ミク３

なんか色々なバリエーションで初音ミクを描こうみたいな単純な話になりつつあり、それはあまり面白くないのでどうしたものかと思った。もうちょっと何をするのか考えてみたい。

＊

あと全然関係ないけど、うちの長男は私や妻が横になっていると、おむつをこちらの顔面に押しつける形でまたがって来るので窒息しそうになる。私はこれをオムチングと名付けた。
そんな感じの毎日。

俺の初音ミク２

彼女は日を背にして立ち尽くして、ぼくはまだ彼女の顔を思い出せないでいる。

＊

猿はいつかシェイクスピアを書くし、目の見えない亀が流木の穴に入れるときも来るだろう。
つまりそういうことである。

＊

本当は一個だけではアレでもアイデアが１００も２００も集まれば面白いかも、と思ってるだけです。

俺の初音ミク１

なんとなくこうと思ったから、その方が良さそうだったから。広い範囲を塗るのがめんどうくさかったから。 手元に筆ペンしかなかったから。

私が描いた初音ミクはこんな感じ。

でも今まで描いた初音ミクのなかで一番お気に入り。

私だけの初音ミクを作ろう、というごく矛盾したイメージが最近あって、うまいことやろうと思っているうちに何となく手が重くなりはじめていた。たいてい私は物を作るときに、誰かが見て楽しいかどうかということをすごく考えるのだけど、そちらに行きすぎるとやがて作るのをやめてしまう。

誰かが見て楽しい物を作ろうと思うのはたぶん間違いじゃないんだろう。でもそういうのが、強く自分を縛っていって、失敗が怖くなってくる。なんせやらなきゃいけないことも守らなければいけないことも、山のようにありすぎて、一本橋を目隠しで歩いているみたいな気がする。
誰かを楽しませたいと思っていただけなのに、誰かを楽しませられないということが怖くなり始めたら 、ちょっとまずい方向に向かっているのだと思う。

自分でそう自覚していなくても、何となく物が作れなくなったり、億劫になってきたときは、きっとそういうことのせいなのだと私は考える。そうしてより単純で、より思いのままに、誰にも望まれないような物作りをしようと思う。

丸くした粘土に、爪楊枝を二本さしただけでも、自分がそれを初音ミクだと思ったら初音ミクだ。

そういうわけで、特に書くことを思いつかない日は、自分が初音ミクである、と思ったものを書いたり作ったりしてみようかなと思う。簡単に言うと、上述のような韜晦を元にして、適当に作ったものを初音ミクだと言い張るという企画です。
いっぱいできたら動画にして上げる。

それすら面倒くさくなったら稲穂の掛け干しを写真で撮って、これはもしかして初音ミクでは？　とか言い出すつもり。