ドワンゴがディープラーニングを用いたアニメ中割り実験の論文を公開　スローモーション演出などへの活用に期待

　ドワンゴがディープラーニングを用いたアニメの中割り実験の結果を公開しました。原画を直接中割りするまでには至らなかったものの、動画の枚数を増やすことには部分的に成功。スローモーション演出などへの利用に可能性があるとしています。

　同手法は、早稲田大学の研究チームが2016年に提案したラフスケッチの自動線画化手法（関連記事）を出発点とし、中割りができるよう変更を加えたもの。アニメ「アイドル事変」の製作委員会やMAGES.協力の下、実際の動画とセルのデータを使用し、実験により自動生成された映像はYouTubeに投稿、実験結果をまとめた論文はコーネル大学図書館が運営する「arXiv（アーカイヴ）」上で公開されています。

実験に用いられたカット（画像はarXivより）

　「中割り」とは原画と原画の間を補完する動きを描いた絵のこと。「動画」は「中割り＋原画をトレースした絵」のことを言います。実験では動画枚数が約4倍になるよう設定されており、比較映像では元の映像よりも「ぬるぬる」動いていることが確認できます。ただし精度にはむらがあるようで、動きの途中でキャラクターの手が消滅したり、身体のパーツが曲がってしまうなど、改善の余地はまだまだありそうです。

論文はarXiv上で公開されています

　同手法では低解像度ネットワークと高解像度ネットワークで構成されおり、2枚の線画を入力することで中間的な線画を1枚出力するという仕組み。今回は機械学習をカットごとに行ったため、今後は大量のカットを学習させ、未知のカットに対して処理をすることが課題になるとのこと。

　論文では同実験の結果について、「原画を直接中割りすることは無理だと思われるため動画工程の省力化には寄与しそうにない」としつつも、「秒24枚以上のアニメーションを制作する場合やスローモーションを作る場合には役立つ可能性はある」と結論付けています。いわゆる「ぬるぬる」した動きやスロー演出を行うには大量の中割りが必要となりますが、そうしたスペシャルなカットが比較的容易に作れるようになる日が来るのかもしれません。