【自動彩色！】色塗り人工知能のインストール方法【Ubuntu】

一見の価値あり！

色付けソフトが公開されたよ！

2016年5月27日に、早稲田大学理工学術院の石川博教授、飯塚里志研究院助教、シモセラ・エドガー研究院助教らの研究グループは、ディープラーニングを応用して白黒写真を自然に彩色する手法を確立したことを発表した。そしてその成果はGitHubでソースコードが公開されていて、誰でも自由に（クリエイティブ・コモンズの表示-非営利-継承4.0国際のライセンスで）利用することができる。

白黒の写真に色付けができる！しかも自動で！これはすごい、試してみたい。Ubuntuからこの成果を試すのはとても簡単！以下の数個のコマンドを端末に入力するだけで始められる！Gitを今までに使ったことをない人を対象に説明するよ！

まずTorchを用意

これから端末にコマンドをいくつか入力して、Ubuntuに写真色付けソフトを準備する。コマンドの中には「あれ、何か間違ってる？」と思いそうなくらい実行時間がちょっと長いのもある。気長にやりましょう。

さて、Torchを準備するコマンドは以下のとおり。1行目でGitをインストールし、2行目でTorch7（深層学習ライブラリ）をダウンドードし、3，4行目でそれらを構築してインストールしてるのかな？実はよく分かってません！（分からなくても写真色付けを試せるからOK！笑）

$ sudo apt-get install git
$ git clone https://github.com/torch/distro.git ~/torch --recursive
$ cd ~/torch; bash install-deps;
$ ./install.sh

最後のコマンドが完了すると、

Do you want to automatically prepend the Torch install location to PATH and LD_LIBRARY_PATH in your /home/si/.bashrc? (yes/no)

と質問される。「/home/si/.bashrc」にある「PATH」と「LD_LIBRARY_PATH」の先頭にTorchのインストール場所を追加してもいい？って意味。「yes」と入力してエンター。その後このコマンドを入れてTorchの準備は完了。

$ source ~/.bashrc

（余談）インストール中に端末に色付きの表示が出てた．僕はいつも背景を黒，文字を緑に設定してる（それってかっこ良くない？）んだけど，端末で色付きの字が出るのかって驚いたから記念にスクショ撮ったのでした笑．

実際にコードをダウンロードする！

GitHubの「satoshiiizuka/siggraph2016_colorization: Code for the paper ‘Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification」のページから、該当のソースコードをダウンロードします。場所は下の画像で示した通り。

ダウンロードしたZIPを展開して、その端末でその中に入る。例えば、こんなコマンド。

$ cd ~/Downloads/siggraph2016_colorization-master

学習データはGitHubに載ってないので、今からダウンロードします。これが重いので時間かかるかもね～。

$ ./download_model.sh

さぁ！使おう！

試験用に予め用意されてる画像があるから、それに色付けするのが最初かな。コマンドは簡単。

$ th colorize.lua ansel_colorado_1941.png out.png

「th colorize.lua」のあとに「色付けしたい画像名」と、「色付け後の画像名」を打ち込むだけ。試してないけど「色付け後の画像名」を省略しても動きそうな気がする（その場合、同ディレクトリに「out.png」が生成されるかな？）

注意点

GitHubに書かれてることをまとめました。

• 自然の風景写真に色を塗るのが得意（上手く塗れない写真もあるということかな？）
• このモデルは解像度224×224の画像で訓練した。だから大きい画像に色を塗るのは苦手
• 512×512を越す解像度の色塗りにはメモリめっちゃ使うから気をつけて（例えば試験用画像の解像度は600×464ですけど、最大2GBもメモリ使います）
• 商用しないでね

僕はこれを読まずに大きな画像（1500×1100とか）を読み込ませて色付けさせたから、かなり重かった笑。無理しちゃダメ！

自然の風景写真が得意ですとあるから、きっとそれは得意なんでしょう。僕は人物の写真に色を付けたいと思った。母と、母の母が写った古い写真が手元にあって、それが総天然色になったら凄く面白いと思ったから。試した結果が冒頭に載せたものと、下に載せた画像たち。

1列目がソフトに食わせた白黒の元画像．2列目がソフトの出力．3列目がソフトの出力を僕がGIMPで再調整した画像．1番目，2番目の屋外で撮った集合写真は複雑過ぎたかな．色が輪郭から滲み出てるし，そもそも合ってない．5枚目はあまりにも付けられた色が微か過ぎる．でも3番目と4番目の画像の色付けはかなりいい線いってると思う！これならキレイで，結構許容できる品質だと思う！

このソフトは「完全自動！」で色付けをしてくれるというところがすごいんだし、それはそれでいいのかな。まぁ「全然完璧じゃない！もっと改善される余地がありそう！」って感じだね。

参考文献

• 白黒写真に色付けする手法とは？ 人工知能が100年前の情景も自然に再現 – 早稲田大学
• GitHub – satoshiiizuka/siggraph2016_colorization: Code for the paper ‘Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification’.
• 13. 白黒写真の自動着色を試してみる

特に参考になったのは3つ目のサイトかな．これを見てUbuntuにこのソフトをインストールしました．」

同じ早稲田のチームが開発・公開している「ラフスケッチを自動で線画化する人工知能」も試した．これはインストール不要でブラウザから試せるからお気軽．面白いので是非．これを使っても色は付かないけど，使うとラフスケッチを綺麗な線画に直せるから面白い．(下の絵の色は僕が自分で塗ってます)