pix2pixで白黒動画に色をつけてみる

• Image-to-Image Translation with Conditional Adversarial Networks
• arXiv:https://arxiv.org/abs/1611.07004
• project:https://phillipi.github.io/pix2pix/

白黒動画のcolorizationをpix2pixを使って行ってみたというのが本記事の主旨

pix2pixの概要

• 画像間変換向けの写像関数や誤差関数は，
  従来手法では変換するドメインに応じて個別設計していた。
• しかし本研究ではGANの手法を利用し，統一的なネットワーク構造や誤差関数の枠組み内で、
  色んなドメイン画像間の変換を学ぶ手法(pix2pix)を提案。

• pix2pixの仕組みはGANそのものとなっている。
  • GはドメインXの訓練データから、対となるドメインYのデータを生成
  • DはドメインXから生成したドメインYのデータと、訓練データとして与えられるドメインYのデータを区別

• pix2pixでできることとして論文では以下が紹介されている
  • label to street scene
  • aerial to map
  • label to facade
  • day to night
  • BW to Color
  • Edge to Color

pix2pix2で色付け

↑のうち，BW to Colorを試してみる．
今回は既存の実装を使わせていただいた．

ただしデータセットや学習済みモデルに関しては残念ながら提供されていなかったので，
データセットとしてOpen Images Datasetから5000点ダウンロードしモデルを訓練した．
モデル訓練には3日ほど掛けた．

テストデータとしてはこの動画からフレームを抜き出して使わせていただいた．

テスト結果の一部

かなり赤みがついている

空は認識されると，ちゃんと青くなる

やはり赤み

一応動画でも限定公開しておく．(音無し)

www.youtube.com

全体的に赤っぽい色味がついた．
データセットが小さいことによる失敗かもしれないと思い，
現在4倍のデータセットを使って再学習中．

ただ，似た先行事例↓においても，鮮明には色がついておらず，また赤みがかった色となっているので，ナイーブにpix2pixを使うとこうなるのかもしれない． www.youtube.com