#377 バンドのビジュアルとラノベの挿絵をAIに描かせてみた

ボカロP 12年生の点五Pです。
２回前の記事 #375 テスト4 ラノベ作中の架空バンドの曲として発表する活動形式 

でサマリーを記述した、「ビジュアル(AIに描かせてみた)」についてこの記事でまとめています。

目次
1. 画像が必要となる背景
2. ４コマ漫画制作は現時点のAI技術では無理
3. ラノベ用にバンドのビジュアル作成
4. ラノベの挿絵生成
5. 結論

【1. 画像が必要となる背景】

もともと音楽だけでなく、画像が必要ということになったのは、前回投稿に書いた通り、

無名Pのオリジナルを聴きたい人は少ない
↓
自作曲をネットに上げるだけでは再生数を劇的に上げるのは難しい
↓
カバーで評価されるには相当のアレンジ/MIX力が要求されるのでムリ
↓
音楽以外のことでいったん注目され、評価されないと音楽は聴いてもらえない
↓
注目されやすいのは映像がからんだコンテンツとの連動
評価されやすいのは世界観が共感されること
完全に別の活動にしたくないから、そのコンテンツ中に自作曲を登場させられるものがよい

ということだった。
SNSで告知、宣伝するにあたって、キービジュアルがないと、そもそもリンク先に誘導することは絶望的。
しかし、今までもPVを作ってそのアイコンを使ってSNSで告知、宣伝はしている。しかし思うように再生数は伸びていない。

やはり再生数を伸ばすには、世界観やストーリーが共感されることの方が重要なのであり、画像はその入り口に必須のツールということに過ぎないんだと思う。
もちろん、しょぼいとそこでハネられるが、画像だけで評価を上げて曲を聴いてもらうところまで誘導することに期待するのは無理、ということだろう。(よほど実力のあるイラストレーターにお金を払って描いてもらえば画像の力だけで評価され、音楽も聴いてもらえるかもしれないけど、それは無理)

で、画像と世界観が一体になったコンテンツとして、最初 4コマ漫画がいいだろうと考えた。SNSでチラ見せしやすいのもよい。しかし、

↓
でも収入限られる中で高額の報酬を払って実力のある漫画家さんにお願いするのはムリ
↓
タダでコラボする形で漫画家さんを募集したが誰も来ないw
↓
ならAIを使って4コマ漫画ができないか？
↓

ということで、まずはAIで4コマ漫画が描けないか検討することにした。

【2. ４コマ漫画制作は現時点のAI技術では無理】

4コマ漫画を成立させるためには、
・キャラの特徴を安定的に作画できる
・微妙な表情、手の動きを描き分けられる
ことが必須。
とくに4コマはほぼ絵だけで意図が伝わる必要がある。
これはネット情報を収集した段階で難しいだろうと。
自分でもStable Deffusionで描かせてみたけど、同じプロンプトで作画しても毎回違うものが出てくるのでキャラ固定化は到底無理。
さらにプロンプトの中のテキストによる説明だけで表情や手の動きを描き分けるのは絶望的に難しい感じ。

ネットで調べると、AIで4コマを描いている人も多くみられるが、固定複数キャラの微妙な会話を実現している人は見受けられなかった。
いったんAIで描かせたキャラをイメージでインプットして表情ポーズを変えられるようになれば使えると思うが、現在のi2iサービス(画像をAIに入れてプロンプトで変換させるサービス)では、服装、髪型、絵のトーン、背景は変えられるものの、表情やポーズを微妙に変えることはできなかった。もう一段技術が進展するのを待ちたい。

【3. ラノベ用にバンドのビジュアル作成】

ということで、次に考えたのがラノベ。
バンドのビジュアルを登場人物紹介でつけて、あとは一話に一枚程度の挿絵イラストがあれば成り立つ。シーン全部のイラストを描く必要はないから、なんとかなりそうだなと。
前回投稿のように、文章が書けるかの方がネックだ。

実は、AIに文章を書かせる前にイラストの確認は済ませてしまった。
とはいっても、キャラ設定、ターゲット設定は先にやって、それをもとにプロンプトを書いて生成したのだが。

これは前回の投稿につけたラノベの表紙の再掲。

AIピクターズというサービスを使用。アニメ風イラストのモデルを選択してトーンを統一できるのがよい。
もちろん一枚一枚別々にプロンプトを書いて生成したものを編集して重ねたもの。
もとはカラーかつ高精細で作成している。
一枚当たり、7～8回作り直させた。プロンプト微修正したり、ネガティブプロンプト入れたり試行錯誤。これは根気よくやるしかない。
それでもなんとかいい感じのものにできたんで大満足。
本当は、Guitarはもっとチャラ男にしたかったし、Bassももっとおっさん、Keyboardももっとオバさんにしたかったんだけど、うまくいかなかった。ま、ジャケットなんてどうせ美化したもの使うだろうからまいっか、と。

ラノベがうまくできなかったら、最悪このビジュアルをHPに上げるだけのパターンもありうると思った。少なくともこのビジュアルは採用確定レベルには達したなと。

【4. ラノベの挿絵生成】

キャラの特徴を引き継いでいろいろなパターンの挿絵イラストを作るのはAIでは難しいんで、表紙のトーンのまま別アングルを作り足すことは断念。
どうしようか悩んだが、挿絵イラストは２～３等身のチビキャラモデルにすることで、一見同じようなキャラには見えることを発見した。
幸い、バンドメンバーのプロフィールはばらけているので、ショートの茶髪女性ならVocal、ロングの黒髪女性ならKeybordになんとなく見える感じ。
表紙がマジ絵で、挿絵がチビキャラというのも、かえってカワイくて好感持ってもらえそうに思った。

これも前々回投稿の再掲。

手になんかへんなもの持ってるので作り直すかも。でも最悪これでも行けそうなので、
画像生成のテストは打ち切って、ラノベ文章作成テストに集中した。それがネックだから。
一応同レベルのトーンで他のメンバーのちびキャラ絵も全部作ってみた。まずますの出来。
ここではいったん非公開。ラノベ投稿をお楽しみに。

【5. 結論】

・無料のAI画像生成サービスでも、根気よく作り直させることでいい感じのイラスト作成は可能
・ただし、同じキャラを安定的に作画したり、微妙な表情、手の動きなどの細かい表現を変えていくことは今の技術では無理
・ちびキャラにすると、同じ髪型、髪の色にすれば同じキャラに見えてしまう。キャラの特徴をばらけておけば描き分けることはできそう
・なので、４コマ漫画は無理だったが、ラノベの表紙のバンドビジュアルと、チビキャラ挿絵イラストをAIで作成することができた！

これで、３か月にわたったAIを使った制作テストは完了。
なんでこんなに一生懸命書いているかというと、記録を残さないと、何をやって何ができて何ができなかったか、断念した理由など自分でもわからなくなってしまうと思ったから。
今回断念したことも、技術の進展でできるようになるかもしれない。そのときに判断できるように。
で、どうせ書くなら共有できることはしてみんなに役立ててもらえばいい。もっといいやり方をアドバイスしてもらえるかもしれないし。

さて、明日からはカバー曲の制作とラノベの執筆に集中します。
ラノベは2話できてるけど、最初のカバー曲がまだ。でも14話くらいでアップするからなんとかなるだろう。
そもそも納期はだれにも約束してないからやれるペースでやっていけばいい。

クリスマスすぎたころに予告告知始めるかな。
それではみなさんお楽しみに！

----------------------------------------------------
ご感想、アドバイスなどありましたら、TwitterかFacebookページでコメントください。

Twitterボカロ垢: Tengo-P＠20.5世紀プロジェクト

Facebook Page: 20.5th Century Project

 

今まで投稿した曲:

ニコニコ動画 SynthV-GUMI AI by 点五[email protected]世紀プロジェクト

YuoTube Channel

 

↓ランキングに参加してますのでおもしろかったらクリックしてください！

音楽(VOCALOID) ブログランキングへ

↑ボカロ関係のBlogリンクがありますんで、是非ごらんください。