Stable Diffusion Forgeを表示した様子。基本的な操作は既存のStable Diffusion WebUI AUTOMATIC1111とほぼ同じ 画像生成AI「Stable Diffusion」用の新しいユーザーインターフェース「Forge」が2月6日に登場しました。開発したのは、これまで「Controlnet」や「Fooocus」などStable Diffusion関連の様々な重要技術を開発してきたillyasviel（イリヤスベル）さん。何よりインパクトが大きいのは、グラフィックボードのVRAM容量が小さい安価なPCでも最新版のStable Diffusion XL（SDXL）が動かせることです。 RTX 40シリーズが求められたSDXL SDXLは、2023年8月にStablity AIが発表した画像生成AI。高画質な出力ができる一方、コミュニティーサイトで話題にな

こちらの記事は2023年版のものです。特に理由がなければ、SDXLやForgeにも対応した2024年版の「AIイラストが理解る」をお読みくださいませ。 こんにちは！2022年10月からAIイラストの技術解説記事を連載してます、サークル「スタジオ真榊」の賢木イオです。この記事は、これまで投稿してきた100本（約40万文字）を超える...

ポーズ制御技術である「ControlNet」は「Stable Diffusion」などの画像生成AIでイラストを出力する際、棒人間のような3Dモデル「ボーン」（骨組み）を組み合わせてイラストの構図やキャラクターのポーズを指定するもの。通常なら3Dモデリングのスキルが必要な場合がある。 Puton.さんはソーシャルVRサービス「VRChat」ユーザーで、自分の動きをそのままアバターに反映できるフルトラッキング環境を持っていた。そこで「アバターでControlNet用のポーズ指定ができるのではないか」と思い付いたという。VRChatで使うアバターをボーン姿にして動かせるようにし、そのシーンをControlNetに入力したのだ。その結果、ポーズを指定する画像を簡単に入手できるようになったという。アバターの作成手順は以下の通りだ。 アバター作成時の基本姿勢であるTポーズ（直立で両腕を横に伸ばした姿

こんにちは。だだっこぱんだです。 今回は、AIイラスト界隈で最近話題のControlNetについて使い方をざっくり紹介していきます。 モチベが続けば随時更新します。 StableDiffusionWebUIのインストール今回はStableDiffusionWebUIの拡張機能のControlNetを使います。 WebUIのインストールに関してはすでにいろんな解説記事や動画があると思うのでそちらをご参照ください。 一応僕が作った簡単にWebUIを起動できるソフトも紹介しておきます（せんでん）

プロンプトまとめです。なお、StableDiffusion WaifuDiffusionとNovelAI は文法が違うので、そのままではうまくいかない場合もあります。（強調系の構文が違うだけなので慣れれば直せます）

【10/18 翻訳完了】 ※StableDiffusion記法で書かれたプロンプトについて、()は{}に（5%強調）、{}は[]に（-5%強調）置換しています（NovelAI用）。また、NovelAIのプロンプトのプリセット機能はオフにしてお試しください。 Twitter (@31pi_) もフォローして頂けるとうれしいです。（間違い等あればこっそり教えてください） 元素法典 The Code of Quintessence ―― Novel AI 魔術全集 ―― 序文『元素法典』は、全ての高品質な術式と〈元素魔術〉を含めることを目的とする魔導書である。〈元素魔術〉とは、特に「商業イラストレベルの表現力を追求した」美しい絵を指す。 本書は、すべての人に開かれた書物である。したがって、聡明な読者諸君らの編み出した魔術の寄稿を歓迎する。 本書には、膨大な術式と豊富な挿絵が含まれている。その中か

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米Google Researchと米UC Berkeleyの研究チームが発表した論文「DreamFusion: Text-to-3D using 2D Diffusion」は、テキストから3Dオブジェクトを生成するシステムを提案した研究報告だ。事前に学習したテキストから2D画像を生成する拡散モデルを用いて、テキストから3次元への合成を実行する。 テキストを条件に2D画像を生成するモデルは現在、高忠実度で多様かつ制御可能な画像合成をサポートしている。これらモデルの品質向上は、大規模な画像-テキストデータセットとスケーラブルな生成モデルアーキテクチャからもたらされる。 特に拡散モデルは、安定し

概要DreamBoothとは追加学習することで、AI(StableDiffusion)で特定のキャラや物を描くためのモデル（データ）作るツールです。 例えば、ドラゴンクエスト10オンラインというゲームのアンルシアというキャラがいます。 ドラゴンクエスト10のアンルシア 公式サイトより引用 https://hiroba.dqx.jp/sc/election/queen2021/vote/confirm/1/nologinこのキャラの画像を18枚ほどAIに読み込ませ、追加学習し、AIに描かせた絵が以下の絵になります。 これ見ると、単なる髪型や顔が似ているレベルではなく、服の模様レベルまで再現できている事がわかります。 今までStableDiffusionの欠点として、同じキャラを安定して描くのが苦手というのがありましたが、DreamBoothを使うことで克服することが出来ます。 これにより、A

(2022/09/22 17:52更新)画像生成AI「Stable Diffusion」を簡単に利用するための実行環境の1つである「Stable Diffusion web UI」のコントリビューター(開発貢献者)の1人であるAUTOMATIC1111氏が、フォークではないものの同名で「機能全部盛り」なStable Diffusion web UI(AUTOMATIC1111版)の開発を進めています。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui ◆目次 1：AUTOMATIC1111版Stable Diffusion web UIでできること・対応していること 2：Google Co

2022年8月に一般公開された画像生成AI「Stable Diffusion」をユーザーインターフェース(UI)で操作できる「AUTOMATIC1111版Stable Diffusion web UI」は非常に多機能である上にものすごい勢いで更新されており、Stable DiffusionのUIツールとしては記事作成時点で決定版といえる存在です。そんなAUTOMATIC1111版Stable Diffusion web UIでは、画像から画像を生成できる「img2img」に便利なScriptが用意されているので、実際に使ってみました。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui AU

高杉　光一🦋 @14:59 @kuronagirai Cry… 基本箱推し 画像生成AIで作った画像の供養先@AI_Rushia 生成した画像は商用利用と人が嫌がるようなこと以外の用途であれば好きに使って構いません syosetu.org/?mode=user&uid… 高杉　光一🦋 @kuronagirai 私が把握してる今のところの各画像生成AIの相関図 Stable Diffusionのオープンソース化は間違いなくターニングポイントの一つだけどWaifu Diffusionがどこまで影響を与えるかはこれ次第 Midjourneyも十分影響あったんだけど芸術や背景特化感否めない ERNIE-ViLGはどうなるんだろう…？ mimicはうん… pic.twitter.com/ykyDSkltPE 2022-09-09 04:17:01 高杉　光一🦋 @kuronagirai 素人目

2022年8月に一般公開された画像生成AIの「Stable Diffusion」はNVIDIA製GPUで計算を行うように設計されており、求められるマシンスペックも高いため、ローカル環境で行うには少し敷居が高いところがあります。プログラマーのcmdr2氏が開発した「Stable Diffusion UI」は誰でも簡単にStable Diffusionをローカル環境に導入可能な上に、GPUの代わりにCPUを使って処理を行うことができるので、高性能なGPUを積んでいないマシンでも画像を生成することが可能です。 GitHub - cmdr2/stable-diffusion-ui: A simple 1-click way to install and use Stable Diffusion on your own computer. Provides a browser UI for gene

自分がつかってる、Google Colab用StableDiffusion環境を公開しました。 海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。 使い方GitHubページの「Open in Colab」ボタンをおして、colabで開く。 このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認 HuggingFaceでアカウントを作成 StableDiffusionのモデルページで、「利用規約」に合意する。 モデルファイル sd-v1-4.ckpt をダウンロード モデルファイルを Google Drive等にアップロード 下のセル 「1-1. Google Driveとの接続」を実行 下のセル　「1-2. のフォーム」に、G

SNSなどで大きな話題を呼んでいる高精度な画像生成AI「Stable Diffusion」は、入力したテキストを基に画像を生成するため、「呪文」とも呼ばれる適切な文字列を考案することが重要です。しかし、思い描いている理想はあるものの、どんな文字列を入力すればいいのかわからない人も多いはず。そこで、Stable Diffusionで特定の構図や雰囲気を再現するために使える文字列を、画像例を見ながら調べられるウェブサイト「The Ai Art」を使ってみました。 The Ai Art - AI, Art, and everything in between https://www.the-ai-art.com/modifiers 「The Ai Art」にアクセスすると、「Angles(アングル)」の指定に使える文字列が画像と共に一覧表示されました。 「Extreme close-up ang

入力した文字列から高精度な画像を生成できるAI・Stable Diffusionは2022年8月に無料で一般公開され、「基本的に出力した画像は商用・非商用を問わず、自由に利用できる」というライセンスで大きな話題となりました。しかし、Stable DiffusionをローカルなWindows環境に導入して使うには、PythonやAnacondaなどを扱える技術や知識が求められるため、初心者にとっては敷居がやや高いといえます。そんなStable Diffusionを一発でWindows環境にインストール可能で、さらにシェルでのコマンド入力ではなくグラフィックユーザーインターフェース(GUI)で画像生成の指示も簡単にできる「NMKD Stable Diffusion GUI」が公開されました。 My easy-to-install Windows GUI for Stable Diffusion

画像生成AI「Stable Diffusion」は、「森で遊ぶクマ」「アイスクリームを食べる人間」といった文章を入力するだけで文章に沿った画像を出力してくれるAIです。そんなStable Diffusionには文章と共に「元となる画像」を入力することで出力画像の精度を向上させられるモード「img2img」が存在。このimg2imgを駆使して簡単なラフ画像から高品質なイラストを生成する手順について、ソフトウェアエンジニア兼フォトグラファーのアンディ・サレルノ氏が解説しています。 4.2 Gigabytes, or: How to Draw Anything https://andys.page/posts/how-to-draw/ Stable Diffusionに「森で遊ぶクマ」といった指示を与えた場合、「構図がイメージ通りではない」「夏の森ではなく、冬の森がいい」といったように、イメージ

入力したテキストに合わせて自動でまるでホンモノの写真のようなクオリティの高い画像を生成することができる人工知能(AI)が「Stable Diffusion」です。そんなStable DiffusionはCreative ML OpenRAIL-Mライセンスの下でリリースされており商用利用も可能ですが、ローカル環境で利用するにはNVIDIA製GPUを搭載した端末が必要となっています。そんなStable Diffusionを、多くのWindows搭載PCが採用しているIntel製CPUで実行できるようにした「stable_diffusion.openvino」が登場しました。 GitHub - bes-dev/stable_diffusion.openvino https://github.com/bes-dev/stable_diffusion.openvino 「Stable Diffus

mi141 @mi141 Googleから凄い論文が出てますね。拡散モデルを数枚でちょっとfinetuneするだけで、「あなたのワンちゃん」を生成画像内に自由に登場させられます！　StableDiffusionでやる人めっちゃ出てきそう。 原理としては対象に新しいwordを割り当ててモデルをfinetuneするようです。 dreambooth.github.io pic.twitter.com/fZTi9DBq72 2022-08-26 12:44:52