Blenderで実写合成MVを作った記録。①制作の概観
こんにちは、映像ディレクター/VFXアーティストの涌井嶺です。
僕は2020年の頭くらいから、オープンソースの3DCGソフト「Blender」を使い
自分の所属するバンドのMVを3DCG+実写合成を用いて制作してきました。
まずはこちらをご覧ください！
[↓]：MV本編
[↓]：メイキング版
メイキング版を見るとわかるように、このMVはオールグリーンバック合成で制作しています。一般的に、実写合成映像の多くは、
・人物がいる部屋は本物で、窓の外がCG合成
・屋外で撮った映像の遠景に、CG合成
・スタジオで撮った映像に、浮遊する物体を合成
といった作り方が多いです。しかしこのMVは人物以外すべて3DCG、というのが売りかなと個人的には思っています。
この方法のいいところは、同じスタジオで撮った撮影素材でも、背景を作り替えれば全く別のシーンにできるということです。人物がいろんな場所で、いろんなスケールで撮影しているように見えますが、実際は全て数メートル四方のスタジオの空間だけで撮影が完結しています。
※あと、すべての作業をBlenderとAfter Effectsのみで完結し、有料のアドオンなどをBlenderに導入せず制作した、というのもポイント
━━━━━━━━━━━━━━━━━━━━━━
このMVに取り組むまでは、Blenderはおろか3DCGもあまり触ったことがなく（大学の授業で少しMaxを触ったのと、中学生の頃にゲーム作るために六角大王をちょっとだけ触ってたくらい）、主にAfter Effects（以降Ae）を使って実写合成みたいなことをしてました。
[↓]：Blenderを使い始める前、After Effectsとelement3Dで作ったショートビデオ。当時はモデリングできなかったのでフリーのモデルやelement3Dのプリミティブを並べて作っていました
ただ昔からゲーム制作に興味があったのもあって、どうしても3DCGへの夢は捨てきれませんでした。
そこで一つ、3DCGをガッツリ使ったMVを撮ってみたい、と思ったのが今回のMVのモチベーションでした。
━━━━━━━━━━━━━━━━━━━━━━
僕は説明下手なのもあって、普段あまりチュートリアル動画などを作ったり、記事を書いたりはしない方でした。しかしこのMVを作る過程でたくさんの反省点や失敗が生まれ、それらから学べることが多かったので、その情報には何かしら価値があるのでは？と思い、この記事を書くことにしました。
ですのでこの記事では全体の制作過程に触れつつも、失敗したところは赤裸々に見せていきたいと思っています。
━━━━━━━━━━━━━━━━━━━━━━
それから、この記事はCG中級者～上級者向けの内容も含まれます。細かい専門用語などは解説しないので、そこはご容赦ください。
このnoteシリーズでは、次回以降で個別のシーンでの技術的な話を書いていこうと思っています。第一回の本記事では、制作の概観や、その流れ(ワークフロー)について書きます！
━━━━━━━━━━━━━━━━━━━━━━
【１】 まず、このMVのテーマと狙い
いきなりですが、CG＋実写合成のMVって、CGをやってない初心者目線でも「合成っぽい」とか、「CGっぽい」という感覚を抱いたことがあるのではないでしょうか。今回のMVを撮るときも、バンドメンバーから「いかにも合成っぽくなるのは嫌だな」ということを言われていたのですが、そういう観る側の感覚って映像を体感する上でノイズになるというか、本来感じさせるべきでない部分だなと個人的に思っています。
だからこのMVでは、「合成っぽさ」を極力排除し、どこまでがCGでどこまでが実写なのか感じさせないような映像を目指して制作してきました。冒頭のシーンから作り始めたのですが、合成っぽさの排除に納得が行くまでは何度もやり直していました。
━━━━━━━━━━━━━━━━━━━━━━
[↓]：冒頭のシーンの初稿。この頃はeeveeで制作していたのですが、フォトリアルな表現に限界を感じてcyclesで作り直すことに。今見るとそんなに悪くない気がする。
[↓]：冒頭のシーンの最終稿。画面左の窓外、手前に見えるビルはリファレンスを集めてゼロから造形してみたのですが、この時UV展開が嫌いになった。
━━━━━━━━━━━━━━━━━━━━━━
この冒頭シーンには、水滴のついたガラス、ボリューム、cyclesでノイズが出やすい暗い屋内シーン・・・と最初に手を付けるには難しい要素が多かったのですが、ここを強行突破したおかげでだいぶBlenderのことを学べた気がしています。最終稿が出来るまでに半年くらい修正を続けていたと思います...
MVのバックグラウンドとしては、何らかの原因で人類が居なくなった世界を主人公(ボーカル)が旅するという流れで、廃墟のビルや裏路地、地下水道など、CGを使わなくてもギリギリ撮れそうな背景が多いです。逆にCGを使わないと撮れないぶっ飛んだ背景なら、CG感みたいなものは気にならなくなってくると思うんですが、こういうリアルな世界を描く上ではCG感は邪魔にしかならないので、その排除にとにかくこだわりました。
【２】 今回のMV最大の反省点
そして早速、今回のMVで最初にして最大の反省点なのですが、
プリプロ(撮影前に準備や構成、制作手順を練る作業のこと)が無さすぎた…
プリプロが大事なんて、映像を何年もやっていれば当然のように分かっているつもりでした。しかし、CGという制約がないようで制約だらけの世界でMVを撮るという過程において、プリプロがどんなに大事かということが、制作期間中に痛いほどよく分かりました。
━━━━━━━━━━━━━━━━━━━━━━
[↓]：MV撮影前に作った唯一の資料がこのショットリストだけ。適当すぎる。
言ってみれば、設計図を書かずに飛行機を作ろうとしたようなもので、必要以上に制作に時間が掛かってしまったし、(今思えば)完成品の質は落ちるという勿体なさはあったなあ、、と思っています。グリーンバックだから、後からどうにでもなるだろうと思って作っていたのですが逆でした。
実際、撮影したのが2019年11月、そこから半年ほどBlenderの勉強をして、本チャンの制作に着手したのが2020年4月くらい。そして完成が2021年4月、ということでとてもクライアントワークに使えるような制作期間ではありませんでした(肌感ですが、他の仕事の隙間でやって週8～10時間くらいはこのMVに取り組んでいたような気がする)。
まあ何もCGのことを知らないまま見切り発車だったので仕方ないといえば仕方ないのですが、プリプロが足らず、どういうワークフローが一番効率いいのかというのを練っておけばもっと楽だったかなあと思います。
━━━━━━━━━━━━━━━━━━━━━━
シーンによっては、CG作業に入る前にコンセプトアート的なものを描いた部分もあります。
やはりこういうのを描いたシーンは正解がある分、完成も早かったです。コンセプトアーティストさんの仕事がいかにCGアーティストを助けるのか実感できました・・・。
━━━━━━━━━━━━━━━━━━━━━━
では次に、実際どんな流れで作業していったのか、頭から順に見ていきましょう。
【3】 実際のワークフロー
このMVは、3DCGで作った世界の中に、キーイング(映像からグリーンバックを抜く作業)したフッテージを配置してそれをライティングし、仮想のカメラで撮る、という流れで作っています。（下図は、その流れです）
全体の制作は以下の流れで行っています。
このひとつひとつを、今回はざっくりと解説したいと思います。
━━━━━━━━━━━━━━━━━━━━━━
① 撮影
撮影は全て、通常の白ホリスタジオにグリーンバックを吊って行いました。
[↓]：スタジオのセット状況。カメラマンはいつもお世話になっているkotarounogami君。手前で疲れて座っているのが僕です。
この日、別のMVの撮影のついでに短時間で行ったので、合計撮影時間は2~3時間くらいだったと記憶してます。
照明はスタジオのスカイに加え、左右から人物のリム狙いで2灯。この時点で完成シーンのイメージがあまりはっきりしてなかったので、汎用性の高そうなライティングにしておけばいいや、という安直な感じでライティングしました。(のちに後悔することになる)
━━━━━━━━━━━━━━━━━━━━━━
② オフライン制作
キーイングが大変そうだな、というのは撮影したとき感じていました。そこで最低限使うカットだけキーイングすればいいようにするため、先にグリーンバックの素材のまま曲に合わせて、頭から最後まで繋ぎました。背景が無いので何が何やらですが、この段階では想像で補ってます。
[↓]：グリーンバックのみのオフライン編集画面。この記事の冒頭で載せているメイキング映像の下半分と思ってもらえれば大丈夫です。
━━━━━━━━━━━━━━━━━━━━━━
③ マスキング・キーイング
撮影したフッテージからグリーンバックを抜いて人物だけにする作業です。Blenderでもキーイングできるのですが、ここは使い慣れたAfter Effectsで作業しています。今回最もやっててつらかったのがここでした。メイキングMVのほうでグリーンバックの素材を見てもらえば分かる通り、ドラムの金属反射や金髪のメンバー、レンズフレアなど、キーイングの敵と言えるような要素が多く時間がかかりました。ただ「CG感」とか「合成感」とか言われるものってここの甘さから来るのが6～7割な気がしていて、しっかり納得行くまでやり直したりもしました。どうしようもないときはフレームごとに手でマスク切ってます。
[↓]：ドラムのキーイング作業。金属部分に反射するグリーンや、モーションブラーがかかりやすいスティックなどが大変。シンバルの揺れは何度もマスク切りました。
[↓]：パーマのかかったボーカルの髪や、透け感が難しい白髪のキーイング。顔まわりは視聴者の目が行きやすいので、ここがちゃんと出来ているかどうかで最終的なクオリティがだいぶ変わりました。詳しくはキーイングの回の時にでも。
━━━━━━━━━━━━━━━━━━━━━━
④ トラッキング
ここからがお待ちかね、Blenderでの作業です。ジンバル(手持ちカメラ)で撮ったグリーンバックの素材は、そのまま3Dシーンに合成すると、撮影時のカメラの動きと背景の動きが合わなくなってしまいます。これを合わせるために、撮影時にグリーンバックに貼っていたマーカーを元に、3D空間上で撮影時のカメラの動きを再現します。この作業はジンバルで撮った素材に対してのみ行っています。固定画角で撮った素材に対しては、Blender上でカメラの動きを付けています。
[↓]：トラッキング作業。グリーンバックに貼った十字のテープをマーカーとして追従させています。マーカーの色が薄すぎたので、Premiereでマーカーの部分だけ色を濃くしたフッテージを作ってそれをトラッキングに用いています。あとマーカーの個数が少なすぎました。大反省、、
[↓]：撮影時と同じ動きで3D空間を「撮る」ことができるので、違和感なく合成出来るようになります。マーカーの個数が少なすぎたせいでトラッキングのクリーンアップに時間がかかりました。
━━━━━━━━━━━━━━━━━━━━━━
⑤ アセット・シーン制作
室外機や電線、ビル、アンテナ、など使いやすいモデル（アセット）をたくさん制作し、それを配置して背景となるシーンを制作していきます。「これぞ3DCG！」って感じの作業です。
[↓]：通りのシーンに使ったアセットの一部。同じアセットを他のシーンでも使っているので、よく見ると同じ室外機があちこちにあったりします。
[↓]：ビルのアセットの一部。遠景で使うものほどローポリに・近景のものはディテール多めに作っています。中央のビルは頻出。２サビ頭で崩れるメインのビルは別途モデリングしています。
説得力のあるシーンになるよう、色々考えながら作るので楽しいです。ほんの一部、購入した3Dモデルを使ったところもありますが、基本的にしっかり見えているところは自分で作ったモデルです。比較的ローポリで作ったので軽くて、僕のPCだとEEVEEならリアルタイムで動きます。
[↓]：ビルの崩壊シーンでは約8000個の破片オブジェクトが物理シミュレーションによって動いています。遠くのビルはただの写真だったり、カメラに映らない屋上は作っていなかったりするのがわかると思います
━━━━━━━━━━━━━━━━━━━━━━
⑥ ライティング
制作したシーンにキーイング済みの人物素材を配置し、リアルになるように、かっこよくなるようにライティングしていきます。ここで撮影時のライティングとなるべく合わせないと、合成っぽさが生まれてしまいます。前述したように同一のライティングでしか撮影しなかったので、ここは制約が多かったですが、なんとなくそれっぽく済ませてます。
人物の影に関する質問が多かったですが、それもBlender上で実際にライトを当てることで作っています(足のヨリのシーンは除く)。
[↓]：最も苦心した、屋上シーンのライティング。室内で撮った映像を屋外に配置したため、ライティングを合わせるのが難しかったです。HDRIでざっくり作りつつ、ビルの隙間から漏れる光をエリアライトで表現し、バンドメンバーの影をはっきり落とすためにサンライトを逆光ぎみになるように当てています。湿った地面に反射したエリアライトがリアルさを出しています。
━━━━━━━━━━━━━━━━━━━━━━
⑦ レンダリング
制作したシーンを、映像ファイルとして書き出す行程です。僕の使用しているPCスペックは以下の通りです:
CPU: Intel Core i7-9700 3GHz
GPU: GeForce RTX 2060 Super
メモリ: 32GB
レンダリング時間は短いもので1分半/フレーム、長いもので8分/フレーム、平均3-4分/フレームくらいだったと思います。レンダラはCyclesだったし、ボリュームも多く使っていたので時間がかかるのですが、寝てる間、外出中、別のPCで作業中に回しておけば終わるので、特にストレスはありませんでした。サンプル数は64～512くらいまでいろいろでした。長い制作の間にBlenderのデノイズ機能が進化していきました。
また、この後のコンポジットの作業で微調整ができるように、シーンの様々な要素(レンダーパス)を分けて書き出しています。
[↓]：レンダーパスは多くてbeauty(combined)・depth・AO・cryptomatte(実写部分)くらいでした。Aeでexr扱うの重すぎるし頻繁にエラーが起きたので、後になるにつれ減らしていました。Combinedパスを見ると分かるように、ほぼこの時点で絵が完成しています。
━━━━━━━━━━━━━━━━━━━━━━
⑧ コンポジット
レンダリングした絵がよりリアルになるように空気感を出したり、レンズで撮ったようなエフェクトを足したりする行程です。ここからはAeで行っています。ただ僕の場合レンダリングのときにほとんど絵が完成していて、コンポジットでやっていたのはホワイトバランスの調整とレンズフレア・グレインの追加くらいでした。
[↓]：屋上シーンのコンポジット前後比較。レンズ効果は入れすぎるとわざとらしくなるので控え目にしています。多少の白とびは気にしない。
━━━━━━━━━━━━━━━━━━━━━━
⑨ グレーディング・その他編集
色の調整をし、シーンを繋いでいきます。最終版では曲に合わせて歪めたり光らせたりもしてます。
[↓]：屋上シーン、グレーディング後。リファレンスと比べながらやっていくのですがここらへんは好みの範疇なので正解が無くて難しいです。パキッとさせるとCGっぽくなっちゃったのでコントラスト低めにしてますが、全体的にボンヤリした印象になってしまったのでここは次回に生かしたい。
ここに来て「ここにもっとブツ撮りのインサート欲しいな」とか思ったときに後からでも作れるのがCGの強みだと思いました。長いこと個別のシーンでしか見てなかったものが繋がってMVになったときは感動しました…。
━━━━━━━━━━━━━━━━━━━━━━
と、こんな流れでMVは作られていったのですが、この中でも何度も前の行程に戻ったり、飛ばしたりしてる部分もあります。
作業時間の配分(体感)としてはこんな感じだったかなと思います↓
ちゃんと作業時間計っておけばよかった・・・。
【4】最後に
ここまで読んでいただいた皆さん、ありがとうございました！
このMVを制作しながらも他のグリーンバック案件を並行して進めているのですが、撮影時にちゃんとグリーンに均等に光が当たるようにしたり、キーイングの手間を減らすよう考えるようになりました；；
次回以降の記事はそれぞれの作業工程にフォーカスしていくのですが、専門的&マニアックな内容にもなっていくので、もしかしたら有料記事にしようかと思っています。このMVやCGについての質問があればコメントしていただけたら、次回以降の記事やTwitterなどどこかで回答しようと思いますので、ぜひよろしくお願いします！