2022/08/21　StableDiffusionのweb版「DreamStudio」が開始されました。

こんにちは。StableDiffusionを使用したAI背景作画についてご紹介します。StableDiffusionの詳細やβ参加方法は前回の投稿で解説していますので詳しくはそちらをご覧ください。
あと学習済みモデルの一般向け公開がカミングスーンだそうです。そうだよ！StableDiffusionはオープンソースで誰でも自由に使えてVRAM容量10GBのローカルPCで動かせる画像AIだよ！

さて、同人などで使えそうなAI背景作画についてですが、取りあえず試しに「ラインドローイング、影無し、白黒」と指定していくつか背景を生成させてみたので御覧下さい。

960*512で生成した元画像をAI画像拡大のREAL-ESRGANで1920*1024に拡大しています。(REAL-ESRGANは８倍まで拡大可能）

これは…、割と良い感じじゃな？ただ拡大して見ると分かる通り、細部は結構グチャグチャです。まぁ、致命的にグチャグチャになっている部分は手直しすれば良いですし、そもそも私が自分で手描きする背景も結構グチャグチャなんですけど。

もう一つ問題なのは、線と陰影がレイヤー分けされていない背景画像は、製作目線ではちょっと使い辛いということです。AIに「線画のみのイラスト」と指示しても、なかなか言う事を聞いてくれるものではありません。なのでレベル補正を使用した線画化などの作業は必要になります。写真からの線画抽出を作画に使用している人は慣れていると思いますが、個人的には慣れていない分野ですね。

アイレベルやパースの調整が任意で行えないことも問題です。大まかな指示はできますが、基本的には余程イメージに合ってるものを使用するか、遠景のみのカットで使うか、手前に大きくキャラクターが居て周りにちょっと背景が見えている的な、対比を考えなくて良いコマでの使用に限られると思います。

※2022/09/01追記　img2imgを使用することで構図をある程度的確に指示できます。↓

そしてAI生成画像の最大の問題点は「連続性や統一感を維持できないこと」だと思います。つまり、ある部屋の画像を生成させて一つのコマで使用したとして、次のコマでちょっとアングルを変えた背景を使いたいと思っても、次にAIが生成するのは先ほどとは全く別の部屋になってしまう訳です。AIの精度が上がって、細部に至るまでちゃんとしているものを描けるようになっても、この根本的な問題が解消されない限り、背景作画に使っていくのは難しいところです。

ですが「作中で一回限りの使用」「サラッと流す部分なので細部は適当でも良い」という場合は、割と使えるのではないでしょうか？例えば上の村やマーケットの上空視点の画像ですが、こういう構図のコマって写真素材も３D素材もあまり無いから描くのメチャクソ大変な上に巻頭ページにドカッと出して『20ｘｘ年、人類は増え過ぎた人口をなんとかかんとか…』の説明コマで一回使用するくらいであともう出てこないですよね。……じゃあ、AI作画でもいいんじゃね？

3D作画が使える人は連続性のある背景を素早く作成できますし、写真からの線画抽出をすれば一枚限りの背景をもっと緻密で整合性のある形で作成できます。簡単な野原と地平線と雲ならブラシでシャッてやれば済みます。現在のAI背景はまだそれらの代替となる水準ではありませんが、「まぁ、選択肢の一つとしてAI作画もアリなんじゃね？」と思える場面もあるのではないでしょうか。

この文句を言わず何度でもリテイクに応じてくれてそれっぽい背景を描いてくれるアシスタントは遠からず一般向けにリリースされるようです。

↓他に出力させたサンプルなど。