【AI狂牛病】AIイラストで画像生成AIが学ぶデータ崩壊が起こりつつある

ナゾロジー@科学ニュースメディア @NazologyInfo

【AI狂牛病】AIイラストで画像生成AIが学ぶデータ崩壊が起こりつつある nazology.net/archives/158137 米ライス大らはAI画像がネットに蔓延する現状を鑑み、AIモデルがAI画像で習した場合の影響を調査。研究者はこれが狂牛病に類似していると話しており、将来問題となる可能性を示唆している。 pic.x.com/phftkcbo7x

室井まさね 新連載『肉怪の生じる村にて』間もなく配信スタート‼️ @Dimetrodon_

@NazologyInfo こっちのデータではもっと画像が歪んでいる。 巷がAI生成画像ばかりになるとどんどん劣化するぞ！(´‐`;) AIをAI生成データで学習させると、学習モデルが崩壊してしまうリスクが発生 karapaia.com/archives/52333… @karapaiaより pic.x.com/woz8ciwutu

🌝🌚👨👩🌈 @PC_Game_Nard

@NazologyInfo ホラ見ろ。生絵師の絵が無きゃ持続可能じゃなかったじゃねえか。 迷惑かけるだけ。

氷月鬼氷刀@アズレン佐世保 @himizk_II

@NazologyInfo よしよしよしよし!!!そのままぶっこわれろ!!!

kaom3 @Ship3kaom

@NazologyInfo 1つでも低品質があればそれを参照してさらに品質が落ちると。非常に興味無い。

カラアゲという名の犬 @cord227_karaage

@NazologyInfo 単純に考えても指六本足三本の見分けも出来ない無断二次利用機械学習生成AIユーザーが、さらに指六本足三本画像を又貸しならぬ又食いさせてる現状だからそりゃ劣化も早まるわ にしても #AI狂牛病 のタグ気に入った。生成AI狂牛病患者さんはそろそろ目を覚ましましょうね

VAjwMUyiznwn @v_ajw63600

既存の公開済み画像生成AI基盤モデルにおいて、データ崩壊の発生を示唆する報告は現時点でありません。 また、原著論文のシナリオは「無加工の生成画像」のフィードバックを「数世代」繰り返すというもので、一般的な訓練プロセスとは大きく異なります。 (1/3) x.com/NazologyInfo/s…

VAjwMUyiznwn @v_ajw63600

近年のインターネット上のAI生成画像では、編集・加工画像が増加し「ポン出し」画像は減少傾向にあります。 このため、クローリングでも無加工画像のみを大量取得する可能性は低く、原著論文の想定シナリオに該当するケースは少ないと考えられます。 (2/3)

VAjwMUyiznwn @v_ajw63600

加えて、一般的な基盤モデルの学習では、通常データキュレーションとクリーニングが行われます。 これにより、質の低いデータや無加工の生成画像は除外または修正されるため、これも原著論文で想定されているシナリオには当てはまりません。 (3/3)

りゃん 🐈/acc🌸 @Rrd_nN

@NazologyInfo 度々この手の話題が出ますが、これは机上の空論で、現実的にはそうなることはありません。 x.com/Rrd_nN/status/…

りゃん 🐈/acc🌸 @Rrd_nN

単純な例として、StableDiffusionのモデルAがあるとします。 それを追加学習してもいいですし、そうでなくてもいいので、合成データを多分に活用し、Aと同じジャンルのモデルBを作ったとします。 もし貴方が言うようにBがAより劣化してたとしましょう。 そうしたら、Bは捨てられるだけです。 結果として、Aより悪くなるという事態は発生しません。 仮に、Bは良いと思われても、貴方が言うようにC、D、E、と続けていった時に、絵が破綻しだす様になったとします。 そうしたら、その中で一番良いものを選べばいいだけです。 結果として、Aよりは良くなっています。 ですから、私は、「どんどん悪くなっていく」という考え方がナンセンスだと言っているのです。 もちろん、新しく何かを作る際や、ある程度自立させて改善システムを回すような仕組みを考えるのなら、 この問題への対策は必ず考えないといけません。 ですが、「どんどん悪くなっていく」ということは、そこに人間が何らかの形で介在している限り、原理的に起こり得ないと言いたいのです。

2023-11-25 13:17:17

りゃん 🐈/acc🌸 @Rrd_nN

単純な例として、StableDiffusionのモデルAがあるとします。 それを追加学習してもいいですし、そうでなくてもいいので、合成データを多分に活用し、Aと同じジャンルのモデルBを作ったとします。 もし貴方が言うようにBがAより劣化してたとしましょう。 そうしたら、Bは捨てられるだけです。 結果として、Aより悪くなるという事態は発生しません。 仮に、Bは良いと思われても、貴方が言うようにC、D、E、と続けていった時に、絵が破綻しだす様になったとします。 そうしたら、その中で一番良いものを選べばいいだけです。 結果として、Aよりは良くなっています。 ですから、私は、「どんどん悪くなっていく」という考え方がナンセンスだと言っているのです。 もちろん、新しく何かを作る際や、ある程度自立させて改善システムを回すような仕組みを考えるのなら、 この問題への対策は必ず考えないといけません。 ですが、「どんどん悪くなっていく」ということは、そこに人間が何らかの形で介在している限り、原理的に起こり得ないと言いたいのです。

あきゆき（REJNO） @rejno_kk

@3dpose この話そもそも手法が古いらしいですね x.com/jaguring1/stat…

小猫遊りょう（たかにゃし・りょう） @jaguring1

タイトルに「AI狂牛病」や「AIの自食障害」と付いた複数の記事、モデル崩壊に関するこの実験が載ってたが、記事では伏せられていたが、論文には2019年の手法である「StyleGAN 2」を用いたと書かれてる。WGANの実験もあるが、これは2017年（約7年半前）の手法。DDPMも使ってるが、データセットがMNIST pic.x.com/cmcdqrfuao

2024-08-11 18:56:54

VAjwMUyiznwn @v_ajw63600

@rejno_kk @3dpose 最先端の結果は以下の文献ですね。"Go MAD"論文の上位互換です。 この論文では、生成モデルの性能が十分高く、フィードバックの割合が一定以下であれば、ループしても「生成品質」は安定することが理論的・実験的に示されています（間違っていたらすみません）。 arxiv.org/abs/2310.00429

中澤@ニュースクリップ @N502853639057

@v_ajw63600 @rejno_kk @3dpose おそらくモデル崩壊に関する最新の論文はこちらです。 この論文では、旧データ(最初のデータ)を新データ(合成データ)で置き換えて学習していくとモデル崩壊が起き、むしろデータを蓄積し続けることこそが崩壊を防ぐことを示唆しています。 論文URL：arxiv.org/abs/2404.01413 x.com/N502853639057/…

中澤@ニュースクリップ @N502853639057

合成データで学習させたモデルは必ず崩壊するという主張に反論した論文（要約：「モデルの崩壊は、研究者が意図的に引き起こした場合にのみ発生し、実際の実践とは一致しません」）) 件の賛成票 件のコメント r/singularity reddit.com/r/singularity/…

2024-07-27 06:00:01

中澤@ニュースクリップ @N502853639057

@v_ajw63600 @rejno_kk @3dpose Google DeepMind創業者の一人で、現在Microsoft AIのCEOを務めるムスタファ・スレイマン氏も6月頃のインタビューで RLHF(人間のフィードバックによる強化学習)での訓練手法から RLAIF(AIのフィードバックによる強化学習)へと移行していることを述べています。x.com/N502853639057/…

中澤@ニュースクリップ @N502853639057

ムスタファ・スレイマン氏によれば、AIモデルの微調整と事後学習は今はもうAI自身が行っていると述べています。人間のフィードバックによる強化学習（RLHF）が、AIのフィードバックによる強化学習（RLAIF）になりつつある 91件の賛成票 26件のコメント r/singularity reddit.com/r/singularity/…

2024-06-27 07:00:01

中澤@ニュースクリップ @N502853639057

@v_ajw63600 @rejno_kk @3dpose RLAIF自体はAnthropicが早い段階から採用しており ダリオ・アモデイCEOも、合成データで学習したAIでも、ごく少量の情報を投入することで最初よりも多くの情報が得られると述べています。(それが無限のデータ生成エンジンになる可能性があるとも)x.com/N502853639057/… pic.x.com/sluvmoenek

中澤@ニュースクリップ @N502853639057

@Rrd_nN @penpengin2023 りゃんさんの見解に私からもソースを補足しておきます。 AI技術者の間では「合成データ自体は害ではない」とは常々言われてきましたが、直近でもAnthropicのCEOダリオ・アモデイ氏がCNBCによるインタビューの中で、同様の考え方をはっきりと明言しています。x.com/tsarnick/statu…

2024-04-25 16:55:57