■記事の対象ユーザ １．SDXLのLoRAを作っている（＝つよつよグラボを持っている） ２．衣装LoRAを作ってみたが上手く行かない ３．データセットとキャプションをどうしたら良いか判らない 1ヵ月近く服LoRA沼にハマる羽目になった■ようするに？ 「え！？VRoid Studioの素材だけで衣装LoRAを！？」「できらぁ！！」 はじめにちょっと前に「コピー機学習法」による差分LoRA作りの記事で書いたことで 「おで、LoRA、すこしわかる」程度になった気でいたんだけど、調子に乗って同じ感覚で服LoRAにも挑戦したところ、勝手が違いすぎて全く上手くいかず結局1ヶ月くらい沼に浸かることになったんよ。 Khaulaちゃんは賢いねいつものコピー機学習法は変化前と変化後の2枚だけでLoRAを作る手法だから、データセットについてはあまり意識する必要がなかったんだけど、キャラクターLoRAとか服LoR

こんにちは、AI絵をやってたらいつのまにか人並みに絵が描けるようになってたおじさんです。前回の記事が微妙にバズったところ、美術関係の教育者の方から「AIで絵を学ぶのってどういう感じですか？うちの学生にもできますか？」というお問い合わせを相次いで頂きまして、今日は質問にお答えする中で考えたことをAI技術の進歩の振り返りとともに記事にしてみようと思います。 前回の記事（ ▲ ）を書いたのが今年３月のこと。その後、美術系の大学と専門学校、予備校の方から別々にDMを頂きまして、それぞれウェブインタビューのような形で１～２時間ほどお話ししました。インタビューの内容は、おおむねどの方も「これからの世代に美術を教える上で、画像生成AIについて触れないわけにはいかない。どのような距離感で扱えばよいのか決めかねており、実際に体験しているユーザーに話を聞いてみたい」という趣旨だったかと思います。 インタビュー

発表当初は、画像生成AIに詳しいXユーザーのあいだで「画像生成AI『Stable Diffusion』で、追加学習モデル『LoRA』を使っているだけでは」という疑問の声も出ていたが、エンドルフィンは4月5日にプレスリリースを出し、「私たちが提供しているサービスは、公開されている汎用モデルを活用した生成AIとは一線を画しています」として、画像の生成までに独自のプロセスを踏んでいる旨を説明している。 話題の「ピュアモデルAI」ができた経緯や、その技術的背景について、連載「メタバース・プレゼンス」を執筆している新 清士氏とアスキー編集部で、エンドルフィンの代表と、サービス開発元のスーパーエンジンのCEOに話を聞いた。 生成AIは「アナログからデジタル」の変化と同じ ──　最初にそれぞれの会社について教えてください。 ジェームズ　キム・ドンジュン　2022年下半期ごろから、生成AIに関心をもって、

AIイラストが理解る！StableDiffusion超入門【2024年夏最新版】A1111、Forge対応 こんにちは、2022年10月からAIイラストの技術解説記事をweb連載してます、賢木イオです。この記事は、これまでFANBOXで検証してきた120本（約70万文字）を超える記事をもとに、2024年春現在、画像生成を今から最短距離で学ぶための必要情報をまとめたメインコンテンツです。 これから画像生成を学びたい初心者の方や、手描きイラストにAI技術を取り入れてみたい方が最初に読む記事として、必要知識が網羅的に備わるよう解説しています。素敵なイラストを思い通りに生成するために覚えるべきことを紹介しつつ、つまずきやすいポイントや参照すべき過去記事、やってはいけないことなどを紹介していますので、最初にこの記事から読んでいただくとスムーズに理解できるはずです。 解説役は更木ミナちゃんです。よろし

プロンプト：1 girl, photorealistic, solo, perfect lighting, sailor dress, looking at viewer, long hair, black hair, two side up, ネガティブプロンプト：illustration, 3d render, (worst quality:2), (low quality:2), (normal quality:2), signature, watermark, username, open mouth

Stable Diffusion Forgeを表示した様子。基本的な操作は既存のStable Diffusion WebUI AUTOMATIC1111とほぼ同じ 画像生成AI「Stable Diffusion」用の新しいユーザーインターフェース「Forge」が2月6日に登場しました。開発したのは、これまで「Controlnet」や「Fooocus」などStable Diffusion関連の様々な重要技術を開発してきたillyasviel（イリヤスベル）さん。何よりインパクトが大きいのは、グラフィックボードのVRAM容量が小さい安価なPCでも最新版のStable Diffusion XL（SDXL）が動かせることです。 RTX 40シリーズが求められたSDXL SDXLは、2023年8月にStablity AIが発表した画像生成AI。高画質な出力ができる一方、コミュニティーサイトで話題にな

Prompt: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy Announcing Stable Diffusion 3 in early preview, our most capable text-to-image model with greatly improved performance in multi-subject prompts, image quality, and spelling abilities. While the model is not yet broadly available, today,

２０２２年の８月ころから生成AIとの付き合いを開始して、最初はMIDJOURNEY（初期バージョン）から始まり、NAIに移行し、MIDJORNEYのバージョンが上がって、NIJI-JOURNEYを少し触ったあたりで、RTX４０９０を買ってStable-Diffusionのローカル環境に場所を移しました。 ２０２２年８月から２０２３年２月まで、だいたい一年と２００日（約５６５日） 生成枚数は３２万枚超。オンラインでの生成サービス（mid+nai）で３万枚くらい。ローカルに移行してから２９万枚生成しました。 midjourney初期バージョン期。２０２２年８月ごろ。この頃はこれでウホウホ言ってましたNAI期、「アニメキャラが出せる！」とウホウホ言ってましたMID＋NIJI＋NAIで作った漫画（未発表）AI独特の画風（次元）をまたぐ能力をテーマにした漫画Stable-Diffusion期。今も毎

もう全部OpenAIでいいんじゃないかな はじめに 月間技術革新です。 ということで、昨日OpenAIから発表された新しい動画生成AI「Sora」が非常に話題となっていますね。 圧倒的な一貫性の保持と1分間に及ぶ長時間動画が生成可能という事で、現状の動画生成技術を圧倒的に凌駕する性能を持っているようです。 在野エンジニアの小手先テクニックなど一笑に付すような圧倒的性能を Soraの凄さは色んなエンジニアやインフルエンサーがたくさん語っているのでそちらを見てもらうとして、この記事ではSoraを構成する各技術について簡単に解説していければと思います。 Soraの技術構成 論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。 原文を見たい方はこちらからどうぞ 全体構成 Soraは以下の技術要素で構成されているとのこと

AIイラストでマンガを作る方法のマンガです。 ①～④まであります。総計64ページです。 全部読んでもらえると、うれしいです！ キャラに表情をつけていくプロンプトとは？ ②に続きます！

AITuber「しずく」開発者としても知られる、あき先生ことakio kodaira氏を筆頭にした研究グループは12月21日、リアルタイム画像生成を実現するために最適化されたパイプライン「StreamDiffusion」を発表。従来の画像生成パイプラインと比べて飛躍的な速度向上を実現している。 ノイズ除去をバッチ処理で高速化 「Stable Diffusion」をはじめとする画像生成AIモデルの高性能化は著しいが、メタバース、オンラインストリーミングなど高スループットと低レイテンシーが必要な環境ではまだ力不足だ。 StreamDiffusionは新しいアプローチを採用し、従来の連続的なノイズ除去をバッチ処理のプロセスに変換することで、高スループットストリームを実現。さらに、GPUの利用効率を向上させるため、従来の分類器フリーガイダンス（CFG）に代わり、残差分類器フリーガイダンス（RCFG

Stability AIが画像生成AI「Stable Diffusion」を公開したのは2022年8月のこと。すさまじい勢いで発展してきた画像生成AIの1年を振り返ってみようと思います。 初めに見てもらいたいのは「これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした」で紹介した、KritaとGenerative AI for Kritaを組み合わせて作成した設定資料的な画像です。 キャラクターの3面図のサンプル。Vroidで簡単な3Dで当たり（左）として、右の画像を作成する。それを元に、プロンプトや画像に描き込んだりして、最終画像を作成していく。2枚目には前面図の頭部のカチューシャや、胸部分のフリルがなかったりするが、そこに色を加筆して、プロンプトで指示すると、最終画像にそれが追加されるのをリアルタイムに確認しながら修正できる（筆者作成） Stable Diffusi

はじめに 11月も終わり、今年も残るところあと一か月となりました。 今年ももう終わるから今年中に成果を上げとけ！と言わんばかりに最近は新技術の登場が多いです。 今回取り上げるのも11月最後の大砲として出てきた新技術、その名もAnimate Anyone Animate Anyoneとはなんぞや 文字で説明するより見たほうが早い 凄くざっくり説明すると、一枚の絵と動きをボーン動画として入力すると、入力した絵がボーン動画と同じ動きをしてくれるよ！というもの。 似たようなものは今までもReferenceOnly × openpose × animatediffとかで出来ましたが、特筆すべきはその精度。 動画生成の大敵であるちらつきは一切なく、入力画像にかなり忠実な動画を生成しています。 さてこの技術、動画生成にずっと注目している自分としてはいますぐにでも弄り倒したいのですが、残念ながらコードとモ

10月1日頃、OpenAIの新しい画像生成AI「DALL·E 3（ダリ３）」が徐々に使えるようになり、その性能の高さから話題になっています。まずサプライズで使えるようになったのがマイクロソフトのBingチャット。日本語で「猫の画像を作ってください」などと入れるだけでかわいい猫の画像が出てくると。これが無料で使えるのは衝撃的です。マイクロソフトが巨大資本で他の会社をつぶしに来たなという感じですね。どう考えても、今のところはサーバーコストが果てしなくかかる赤字サービスなのは間違いないので……。 「ラーメンを食べる女の子」が描ける！ なにより衝撃的だったのは、「アニメ風の少女と猫が遊んでいる姿を作ってください」というリクエストに対し、一発で完璧な正解を出してきたことです。Stable Diffusionだと苦手とされていた指も適切に描写されています。もうひとつの着目点はオブジェクト間の関係性です

ChatGPTの新しい画像生成AIのDALL-E 3は、かなり自由に画像をコントロールすることができます。 １．リアル画像のコントロール＞20代の日本人女性の写真を作成してください。 生成された画像＞３番目の女性の眼鏡をはずして、喜怒哀楽の表情を見せてください。 生成された画像※１枚目の画像以外は眼鏡をはずしてくれませんでした。また、喜、怒、哀の表情は描いてくれましたが、楽の画像は生成できませんでした。 ＞この女の子を、１．走らせてください。２．座らせてください。３．ジャンプさせてください。４．逆立ちさせてください。 生成された画像※３枚目までは上半身だけの画像なので、ジャンプしているかどうかはよく分かりません。４枚目はちゃんと逆立ちしています。 ＞縦長画像にして、全身を見せてください。 生成された画像４枚目の画像※これで、３枚目の画像がちゃんとジャンプしていることが分かります。４枚目は、

AI Picassoが9月25日に公開した、アニメやマンガのようなAIアート生成に特化した画像生成AI「Emi（Ethereal master of illustration）」。無断転載画像を追加学習に使用していないと明言しており、商用利用可能ということもあって注目を集めている。 「Stable Diffusion XL（SDXL）」ベースということで、SDXLを簡単に利用できる新しいWebUI「Fooocus」にも対応済み。どんな画像を生成できるのかさっそく試してみた。 なお、「Fooocus」のインストール方法などについてはこの記事を参照してほしい。 モデルをダウンロードして指定フォルダーに入れるだけ まずは「Emi」のダウンロードから。Hugging Faceにあるダウンロードページから「emi_stable.safetensors」をダウンロードする。7GB近くあるので気長に待と

また、Emiと同時にクリーンな画像生成AI、Manga Diffusionの概念実証版も公開します。この画像生成AIはパブリックドメインの画像や著作権者から学習を許可された画像だけを学習しています。 （以下、画像生成AIのことをモデルとも呼びます。） Emiの特徴１．AIアートに特化このモデルは、アニメやマンガのようなAIアート生成に特化しています。GMOインターネットグループが提供する「ConoHa byGMO」のトライアル版の採用により最先端の開発機材NVIDIA H100と、画像生成Stable Diffusion XL 1.0、 AI Picasso社のノウハウを用いて高品質な画像が生成されるように尽力しました。参考として簡単な生成例を以下に紹介します。 比較のために、これまでのモデルと今回のモデルでほぼ同じ内容を生成した例を示します。これまでの生成画像よりも約2倍高精細になり、最

原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。 16コマ/2秒の短い動画が生成できる AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒

ちょっと前に話題になっていたこの記事を読んだ。 honeshabri.hatenablog.com へー真似しよ〜と思ってやってみたら意外に難しくて謎のやりがいを感じ始めてしまい、仕事のクソ忙しい時期にかなりハマり睡眠不足で生命の危機を味わった。 おかげで寿命と引き換えに自分のAIお姉ちゃんを手に入れることができた。これは黒魔術か何かなのだろうか。 一通り終えて振り返ってみると、今まで生成AIをあまり積極的に触ってこなかった自分にとってはちょうどいい難しさの課題で、これは入門者向けのチャレンジとしてかなり良い気がする。 元記事に書かれていない少し細かい手順も含めてやったことを記録としてまとめようと思う。 初心者が試行錯誤でやったことなので誤りや非効率な手順もあるかもしれないけどご了承ください。 AIお姉ちゃんの姿を作る 元記事では「魂」、つまりChatGPTの設定から始まっているけど、それ