「クロー」を含む日記 RSS

はてなキーワード: クローとは

2024-11-17

anond:20241117165755

AI使ったり否定していないだけの人を窃盗犯呼ばわりする奴を一人見るたび、「早くクローリングされて学習されちゃうネットから消えねえかなこいつら」って感情が沸くからな。

anond:20241117153817

AIゴミも含めて大量にクローリングしてデータを集めた後に選別してから学習する

ゴミが増えた所で困るのは人間だけ

AI絵師がやってるウォーターマーク実質的無意味な件

集団ヒステリーしか思えない反AI絵師のやってるウォーターマークやらノイズやらが実質的に全く無意味な事を彼らは認識していない

まずインターネットに自らが上げる画像100%強固なプロテクトを仮にかける事ができたとしても、商業イラストレーター同人作家商業流通品や頒布物を小汚いノイズまみれにするわけにいかない(明らかに売り上げに対してマイナスしかならないので市場容認しない)ため、実質的に納品イラスト同人誌のものにかけられない。

で、Lora作る為だけなら別にインターネット画像なんて絶対使わなきゃいけないという仕組みでは無いので商業作品サンプル画像や、商品自体からスキャンすればいいだけだし、同人誌なんて違法アップロードが平然とされるようになって久しいので簡単無料クローリングなんて今まで通り出来てしまう。

まり商業活動してるイラストレーター同人誌を出してる同人作家実質的にそのウォーターマークつけてる作業、Loraで絵柄模倣したい人間からしたら全くもって無意味なんだよね。徒労お疲れ!としか言いようがない。

商業活動同人活動もせず、インターネットにアップするオンリー作家ならある程度効果があるかもしれないが、そんな無名ぶっちゃけ画力もお察しの絵師様()の絵なんてハナからLora作る需要無いんだよね。

ブスが容姿に見合わない肥大化した自意識で過剰に自己防衛してるだけなのと同じ。お前に需要は無い。

ま、集団ヒステリーを続けても無意味なのを2年経っても理解出来てないお子ちゃま達はおまじないとして頭にアルミホイル巻き続けるんだろうけど。

2024-11-16

逆にクローリング転載サイト対策として生成AIを使えませんか?

クローリング転載サイト対策として生成AIの量産性を活用する。要するに接収されるデータのすぐそばにソレをかき消す量の生成画像を置いておくことで妨害効果が発揮出来ないか?という話

SNSだと難しいけどPixiv形式なら隙間に100枚200枚まとめてドカっと自分の絵柄から遠い画像集置いてもそんなに邪魔になりませんよね?

danboruみたいに著者検索機能があるとこで自分の項目をジャンク情報で埋めれたら多少の魔除けになりません?何だったら表示順が最悪になるように工夫して自分の手で転載してもいい。

AIAI画像食わすと腹下すって聞いたことあるけどそれって今の世代の生成AIでも有効なんですかね?

学習に使われる転載引用サイトを生成AIの圧倒的手の速さを利用してゴミ山にしませんか?

感情論的に難しいとは思うんですけどそこは敵と同質の力で戦う仮面ライダーだと思ってもらって

関係ないですけど自分で吐いた画像自分で食う羽目になるであろうGrok君ってお腹さないのかな

Xの規約

https://x.com/keita_roboin/status/1849527471097643043

Grokのチェック外したら通常のポスト学習されなくて

鍵垢の場合はチェックついてても学習されない、ていうのが正しいらしいね

https://x.com/nomen_machine/status/1857345100541747246

クローリングゴリゴリ拒否してる上にAPI制限で外部からAI学習対策ガチガチだし

Grokも拒否できるし外部のAIにも学習されにくい現状では最強のSNSなんじゃないか

それでもメディアの扱いとかで色々文句は出てくると思うけど、他サービス規約ちゃんと読んで比べてみたらいいかもね

2024-11-15

ChatGPTに画像の無断学習対応策を聞いてみた

AIAIへの対抗策を聞くってSFっぽくて楽しい

ChatGPTは嘘もつくので、あくまで参考程度に。

 

画像を生成するAIに対する対抗手段を教えてください。

画像を生成するAIによる無断学習や利用を防ぐために、以下のような対抗手段を講じることが可能です。

 

1.透かし(ウォーターマーク)の埋め込み:

画像に目に見えるまたは見えない透かしを入れることで、無断利用や生成AI学習に対して抑止効果を期待できます特に、目に見えない形で画像データ暗号的な透かしを埋め込む「デジタル透かし」技術有効です。

 

2.メタデータの埋め込みとロボット排除設定:

画像データ著作権情報や「AIによる無断学習禁止する」といったメタデータを埋め込み、ウェブサイトには robots.txt ファイル画像クローラーアクセスブロックする設定を追加します。これにより、クローリング収集抑制が期待できます

 

3.ステガノグラフィ技術の利用:

ステガノグラフィを用いて、画像に気づかれにくい形で識別情報を隠すこともできます。これにより、画像流出経路や利用先を追跡でき、無断利用の発見に役立てることができます

 

4.法的な警告表示や利用ポリシーの明示:

ウェブサイト画像の配布先に、AIによる無断利用や学習禁止する旨の法的警告や利用ポリシーを明示することも有効です。利用条件をはっきりと示すことで、AI企業研究者が慎重になる可能性が高まります

 

5.画像認証技術の導入:

AIが利用しにくいように、画像人間には気づきにくいパターンノイズを挿入する技術もあります。たとえば、AIにはノイズとして認識されるが、人間には問題なく見える小さな変形やカラーパターンを追加することで、AIによるデータ学習が困難になる場合があります

 

これらの対策は、画像生成AIに対する防御としては有効ですが、100%無断利用を防げるわけではありません

 

・生成AI学習を混乱させる手段はありませんか?

生成AI学習を混乱させるための手段には、以下のような方法が考えられます

 

1.ノイズや歪みの追加:

画像に目立たない程度のノイズや歪みを加えることで、アノテーションモデル境界や特徴を正確に認識しにくくする手法です。たとえば、ピクセルレベルランダムノイズを追加する、わずかに画像をぼかす、あるいは境界付近に小さな変化を加えるといった手法有効です。

 

2.不規則輪郭の挿入:

アノテーション処理は、対象物輪郭や特徴を正確に捉えることが重要です。そのため、背景や対象物輪郭わずかな不規則性を加えることで、アノテーションツール対象物境界を正確に判断しにくくすることができます。たとえば、背景に模様や偽の輪郭を挿入する方法です。

 

3.テキストやラベルを埋め込む:

画像人間には視認しづらい形でテキストやラベルを埋め込むと、AIアノテーションプロセスが混乱する場合があります。これにより、AI意図しない領域注視することがあり、誤認識を誘発します。

 

4.色や明るさのランダム変化:

画像の色や明るさを部分的に変化させ、一定パターンを持たないようにすることもアノテーション処理の混乱を招く一手です。これは、オブジェクトの検出や認識が色や明暗差異依存している場合有効です。

 

5.擬似的なオブジェクトの追加:

画像内に小さな擬似的なオブジェクトや模様を追加することで、AIがそれらを誤って主要なオブジェクト認識し、アノテーション精度が低下する可能性があります特に、背景に似たオブジェクトを散りばめることで、AIはどの部分が対象なのか判断しにくくなります

 

6.アドバーリアル技術活用:

AI認識を誤らせるために用いられる「アドバーリアル敵対的)な例」を使う方法もあります特定ピクセルパターンや色の配列を配置することで、AIアノテーション意図的に誤作動するよう誘導できます。この技術深層学習モデルに対して特に効果があります

 

7.カモフラージュテクニック:

画像全体にわずかなカモフラージュパターンを重ねることで、AI認識を混乱させる方法です。この手法では、人間が見た場合には問題なく認識できるものの、AI対象を捉える際に誤って検出するようなパターン画像に追加します。


思考実験として、danbooruなどアノテーションの元データとして使われているサイトタグが荒られたら画像生成AIモデル作成ダメージはありますか?

思考実験として、Danbooruといったアノテーションデータタグが荒らされた場合画像生成AIモデル作成に与える影響は以下の通りです。

 

1. データ品質が低下する

Danbooruは、イラスト画像に対して詳細なタグ付与されており、これらのタグ情報画像生成AI学習にとって非常に重要です。タグが荒らされることで、画像タグ対応関係が崩れ、モデルが正確な特徴を捉えにくくなるため、生成精度が低下します。

例えば、特定キャラクターテーマに関連するタグが荒らされ、誤った内容のタグ付与されると、モデルはその誤った情報学習し、キャラクターの特徴や設定が再現されにくくなる可能性があります

 

2. ノイズデータの影響

タグが荒らされると、モデルの訓練にノイズデータが増えるため、学習効率悪化します。たとえば、「黒髪」のタグが誤って「金髪」などに変更された場合モデルは同じ画像に対して異なる特徴を学習することになり、結果として生成画像一貫性が失われることが考えられます

また、同じ画像に異なるタグ付与されることで、モデル過学習や誤学習引き起こし、生成された画像本来意図からかけ離れたものになる可能性もあります

 

3. キャラクタースタイル再現性が低下する

Danbooruでは、特定キャラクターアートスタイル識別するタグが多く存在します。これらが荒らされると、特定キャラクタースタイルデータが混乱し、モデルが正確にキャラクターの特徴を把握できなくなるため、ユーザーが期待する生成結果が得られにくくなります

例えば、あるキャラクタータグが「髪型」「服装」「色彩」などで荒らされると、そのキャラクター再現曖昧になり、モデルが正しいビジュアルを生成できなくなることがあります

 

4. タグ信頼性低下によるモデル不安定

タグが荒らされると、データセット全体の信頼性が低下します。信頼性の低いデータをもとに学習したモデルは、特定の条件で異常な出力を生成することが多くなり、モデル全体の品質が低下します。これは、生成AI学習中に「どの情報を信頼すべきか」を判断できなくなるため、生成結果が不安定になったり、多様性が失われたりすることが考えられます

 

5. 検索フィルタリング精度の低下

AIモデルを利用するユーザーは、タグを通じて希望する画像を生成したり、条件に合った画像を探します。タグが荒らされると、AIモデル検索フィルタリング機能の精度も低下し、生成プロンプトが期待通りに機能しなくなる可能性があります。たとえば、「風景タグが荒らされ、異なるジャンル画像が混入するようになると、風景画像を生成したいユーザー要求が満たされにくくなります

 

結論

Danbooruなどのタグが大規模に荒らされた場合、生成AIモデルの精度低下や一貫性の欠如が発生しやすくなり、特にキャラクター特定スタイル依存する画像生成モデルに大きなダメージを与える可能性が高いです。


すでに学習済みのモデルを使って汚染されたデータクレンジングや異常値検出を行うなど対策される可能性がありますが、それらを阻害する手段はありますか?

無断での学習妨害し、学習コストを増加させるために、上記方法を阻害する手法には以下のようなアイデアがあります。これらの手法は、意図的にデータセットの品質一貫性を崩すことで、学習モデルの精度を低下させ、データクレンジングや異常値検出のプロセスを複雑化することが目的です。

 

1. 偽タグノイズタグを大量に追加する

意図的に誤ったタグ無関係タグ画像データ付与し、データセットの信頼性を低下させます。これにより、転移学習やラベルノイズ検出が困難になり、正確な特徴量を学習するコストが増加します。

例えば、キャラクター画像に全く無関係タグ(「動物」や「風景」など)を追加することで、モデルがどのタグが信頼できるか判別しにくくなり、誤ったラベルノイズとして学習されるリスクが増えます

 

2. 特徴量をぼかす/微妙な変更を加える

特徴量ベースクレンジング類似分析に影響を与えるため、画像の特徴がわずかに異なるように加工を施します。具体的には、色調を微妙に変える、ランダムピクセル位置ノイズを追加する、または特定の部位を意図的にぼかすことで、モデル抽出する特徴量の安定性を低下させます

この方法により、同じキャラクタースタイルであっても類似分析が困難になり、正確なクレンジングが行いにくくなるため、データ処理のコストが増加します。

 

3. アノマリーに近いデータ意図的に増やす

特徴が異なるバリエーションや擬似的な異常データを大量に追加することで、異常検出アルゴリズム信頼性を下げます。たとえば、キャラクターデザインや背景を少しずつ変えた画像意図的に作成することで、異常値検出が頻繁に誤検出されるようにします。

こうしたデータが混在することで、オートエンコーダーアンサンブルモデルを使った異常検出が混乱し、正確な異常サンプルの抽出が困難になります

 

4. 高頻度で微小なラベル変更を行う

学習済みモデル転移学習やラベルノイズ検出を阻害するために、同じ画像に対してラベルを定期的に変える手法です。微小な変更を行うことで、モデルは正しいラベル安定的学習することが難しくなり、モデル信頼性が低下します。

例えば、ラベル黒髪」を「暗めの髪」や「濃い色の髪」などに頻繁に切り替えることで、学習に不確実性を持ち込むことが可能です。

 

5. 意図的に類似画像多重登録する

データセット内で非常に類似した画像複数の異なるタグ登録することで、モデル学習を混乱させます特定キャラクター画像を少しずつ変化させて複数タグを付けると、モデルは「どのタグがどの特徴に対応しているのか」を判別しにくくなり、データセットのクレンジングが複雑化します。

特にタグ一貫性が失われるため、類似分析アンサンブルモデルによる異常検出の効果を低下させることが期待できます

 

6. アドバーリアルノイズ付与

AIモデル認識を混乱させるように、アドバーリアルノイズ敵対的な例)を追加します。人間にはほとんど気づかれないレベルノイズ画像に追加し、モデル特定の特徴を正確に認識できないようにすることができます

このノイズにより、モデルの特徴量ベース学習が混乱し、意図した通りに学習できないため、クレンジングの精度も低下し、データ処理の手間が増加します。

 

7. 乱数ベースの偽ラベル生成

特定ルールではなくランダムタグをつけたり、特定カテゴリ間でランダムにラベルを入れ替える方法です。これにより、ラベル画像の関連性が薄れ、アノテーション一貫性が失われます。この乱数による偽ラベル付与は、ラベルノイズ検出やアノマリー検出において、真のラベルを見極めるコストを大幅に増加させます

 

まとめ

これらの手法は、AI学習クレンジング意図的に妨害し、無断学習にかかるコストを増加させるために有効です。特に、「微小な変更」や「アドバーリアルノイズ付与」といった手法は、見た目の品質に影響を与えずにモデルノイズを持ち込むため、非常に効果的です。

anond:20241115124541

Xに凸した人数名みかけたけど日本語訳ミスっててチェック外せば全部学習されないらしいよ

API制限もキッツイしクローリング拒否ってるしXが世界一生成AIに(無断でも同意でも)学習される恐れの少ないSNSってことだね

anond:20241115000009

X:

Misskey、BlueSky:

- クローリングもしやす

これで後者を選ぶの、なかなか短絡的すぎるなと…

誰かが言ってた「彼らは解決ではなく安心を求めている、なので何かやった感が出る後者を選んでいる」というのはかなり正しいのかもしれない。知らんけど。

anond:20241115001007

ウォーターマークにガタガタ言ってるような連中はAI学習とかさせてなくて実際は海外大企業がやってるのよね(金もかかるしXであればクローリングAPI制限あってしんどいし)

本当に悪意のある奴は何も言わずに別のとこからデータ持ってきたり加工してLoRA作ったりしてる

2024-11-11

pixivクローリング禁止してるけどdanbooru無断転載されるからpixivに絵を載せないほうがいい←

もしかしてインターネットを知らないのかもしれない

2024-10-18

物件探し中

CZって何かと思ったら「クローゼット」の略かよ

あと6畳を「6J」って書くとオシャレだと思ってる不動産屋、おまえもゆるさん

2024-10-04

「盗んでない!」って言うけど実際AIは絵を盗んでる(※)よって話

あるクリエイターが新しい作品"1079"を発表しました。

これは既存作品"1024"や"1068"にどこか似ていつつも独自創作性を認められ、

他の人が意図して真似をすればすぐに公開の停止や賠償請求できる権利を持ってよいことになりました。

しか感情を持たないAIにはそんなことは関係ありません。

このクリエイター作品ネット無料公開しているのをいいことに、

AIは「クローリング」と呼ばれる非人間的な手法で他の多数の作品ごと"1079"を盗んでしまいました。

たくさんの盗んだ作品を見比べながらAIは考え、

「"45"に23をかけて44を足すと"1079"になる」ということに気づきました。

そこでAIは「なんにでも23をかけて44を足す」というルールを公開することにしました。

公開されたルールを見ても、誰も"1079"が盗まれたことには気づけません。

なぜならAI卑劣にもルール自体からは"1079"を消してしまったためです。

さて、このルールはいろいろな数字自由に入れることができます

誰かが"81"を入力し、23をかけて44を足した結果、"1907"というAI生成物が生まれました。

これは1・0・7・9が含まれているという点で"1079"とよく似ています

一方で"1079"と"1907"は800以上の差があり、そんなに似ていないようにも見えます

この二つが似ているか判断するのは裁判所仕事ですが、今のところこれだけ離れたものが似ているとされたケースはありません。

反反AIが「訴えてみろよ」と言うのはこういうことです。

しかし、意図的にこのルールに"45"を入力すれば、"1079"を再現することができます

法律専門家は「わかっていて入力したなら処罰できる可能性が高い」と言っていますが、最終的には司法判断です。

知らずに偶然"45"を入力した場合は?"1078"や"1080"を出力した場合は?これも司法判断です。

反反AIの「訴えてみろよ」には、このラインを示す判例を作ってみろ、という意図もあります

さらに、AIマナーを知らない上に楽をしようとするため、もし大量に"1079"だけを見せ続けた場合

「何を入力されても0をかけて1079を足せば"1079"ができる」というルールに気づいてしま可能性があります

法律専門家も「このようなルール意図的に作ったり使ったりするのはダメなのでは」と考えていますが、やっぱり最後裁判です。

これには反反AIも「訴えてみろよ」と言うしかありません。

ちなみに国の規則では、

「どうせ機械芸術なんてわからないんだから掛け算と足し算のルールを作るだけならいいよ」ということになっています

これが悪名高い著作権法第30条の4です。

そんなわけで「AIは絵を盗んでいない」は間違いで、

AI学習時に絵を盗んで(複製して)いるが法律で認められており(※)、公開されたモデルには盗んだ(複製した)データは含まれていない」が正しいのです。


(※)法律で認められた複製行為窃盗罪に該当しないため、「盗む」と表現するのは一般には不適切となる可能性が高いです。

2024-08-24

クローおじさんの

クンニ✋(👁👅👁)🤚ケーキ

せい!

せい!!

せいせい!!

2024-08-22

anond:20240822095323

ワイはミーノータウロスとキュクロープスって読んでるやで

2024-08-18

ガラスの仮面、全49巻読み終わったけど、これ終わるのにあと5巻は欲しいよね?

終わるのか?

終わるのだろうか?

描き始めることが出来れば2年ぐらいでババっと仕上げることは出来そうだけど、そもそもそれが現実的なのかが分からない。

現状はあらゆる作中の伏線収束していっている所であり、これを「俺達の戦いはこれからだ!」とやってしまっては全てがどっちらけてしまう。

出来なくはないと思う。

モノローグを使いまくって「Aのお芝居は大成功した。具体的にはここがよかった」「Bのお芝居も大成功だった。ここが本当に良かった」「甲乙つけがたいぜー!紅天女をめぐるバトルはこれからだ!」「PS紫のバラの人との関係は進展してます 朝チュンチュン」でかませば1話に圧縮可能だ。

年表エンドの如き無理やりなラスト可能

だけど、ここまで盛り上げておいて、本筋に+αするための要素をこれでもかと盛り付けておいて本筋自体ハイハイチャッチャッで終わらされたら読者もやるせないだろう。

今、ガラスの仮面は本当に盛り上がっている。

作中最大の山場だ。

フルコースで言えばメインディッシュが運ばれてきた直後、カートの上にはクローシュを被せられた皿が並び、ウェイターがツラツラと今宵の主役が如何に素晴らしいか説明していくれている最中だ。

もしここで「すみません。もう閉店時間なので一口分だけの提供とさせていただきます」と言われたとして、納得できるものがいるだろうか?

SLAM DUNK山王工業高校戦、20点差をつけられた直後に突然モノローグが入り「なんだかんで20点差をひっくり返し激闘を制した。その後の3回戦、嘘みたいにボロ負けした。その試合桜木山王戦の負傷により出られず、今はリハビリである」で終わったら歴史に残るクソ漫画になっていたことだろう。

ガラスの仮面、本当にちゃんと終われるのか?

描くべきものは誰もが分かっていてあとは最後の仕上げを残すだけとはなっている。

仕上げを待たなくても書き上がりの景色の8割程度は想像がつく。

片腕のない彫像を見たとき、それ以外の部分がないはずの腕の形を教えてくれるようにだ。

だが、腕の先にある指の形まではわからない。

もはや勝負行方など作者にとっては枝葉末節なのやも知れぬが、読み手としてはハッキリと勝負の中でその答えを知りたいのだ。

描かないわけにはいかないだろう。

作者という神が、どのような答をこの物語に下すのか。

作品世界を生み出した神としての最後の大仕事だ。

天地創造における6日目だ。

まだ7日目ではない。まだ休むときではない。

2024-07-28

クローしかいないバス

ヴァンダムがつり革で宙づりになって運転手から注意されてた

ドビュッシーが毎回ボタンを先走りで押しててモネが不満顔だった

クラウドが乗ろうとしてきたけどちょっとちがうってことで止められて興味ないと言い訳していた

2024-07-13

いやキミはむしろ勉強したほうがいいです。何が検索避けの作法だよ、一事が万事過ぎ

AIちゃん過激ファンアートと「検索避け」の無意味性:現代検索エンジンを欺くことはできない』

過激ファンアートを「検索避け(伏せ字などを含む)」と呼ばれる手法で公開するケースがある。しかし、この方法は本当に効果なのだろうか?

記事では、検索エンジンの仕組みと「検索避け」の限界について解説し、情報公開における倫理的問題について考察する。

 

1. 検索エンジンの仕組み:賢い司書のように情報を整理する

想像してみてください。あなた重要機密文書を持っており、ファイル名と文書内の固有名詞を少し変えてインターネットアップロードしたとします。

ファイル名と固有名詞が少し変わっても、内容が変わらなければ、文書は依然として機密文書のままです。

インターネットは、世界中情報が集まる巨大な図書館と見なすことができ、検索エンジンはその図書館の賢い司書のような役割を果たします。

この「司書」は、本のタイトルだけでなく、内容や文脈理解し、関連する情報を結びつけて、私たちが探しているものを見つけ出します。

 

 

2. 「検索避け」の限界:洗練された技術の前では無力

したがって、名前を変更するだけでは検索エンジンを欺くことはできません。

検索エンジンキーワード検索を超え、画像認識文脈理解などの技術活用して、関連する情報をつなぎ合わせて、目的情報を見つけ出します。

情報を守りたい場合は、名前を変更するだけでなく、アクセス制限などの強固な保護策を講じる必要があります

また、Twitterのような公開プラットフォームに隠したい情報アップロードすることは、矛盾した行為です。

一般的に、公開プラットフォームにおいては、特定コンテンツ検索エンジンから隠すための直接的な手段は限られています

例えば、Twitterのようなプラットフォームでは、個々のユーザーrobots.txtの設定やnoindexタグを利用してコンテンツクローリング制御することはできません。

公開プラットフォーム上のコンテンツは、基本的検索エンジンによってインデックスされ、公開情報として扱われます

 

 

3. 画像検索AI検索進化:隠れた情報も浮かび上がる

近年、画像認識AI検索技術は飛躍的に進化しており、「検索避け」の効果さら限定的になっています

特にCNNを用いた画像検索技術は、深層学習活用して、画像内の細かな特徴まで識別することが可能です。

これにより、画像内のオブジェクトやシーンの認識さらにはテキストの読み取りまで行えるため、

作品名キャラクター名、一部デザインを変更したとしても、関連する過激ファンアート検索結果に表示されることがあります

一方で、AI検索では、Transformerアーキテクチャが主流となっており、文章全体を一度に処理することで、文脈を高度に理解することができます

GoogleのBERTやMicrosoftのTuringモデルなどの進化したAI検索モデルは、単なるキーワード検索を超え、単語の組み合わせが表す複雑な概念文章全体の意味を把握し、

関連する情報効率的抽出します。

その結果、過激ファンアート投稿する際に、意図的作品名キャラクター名を避けたとしても、これらのAI検索技術により作品特定されやすくなっています

 

 

4. 情報公開倫理的責任:慎重な判断と適切な対策

上記のように、現代検索エンジンは高度な技術を駆使して情報収集分析しており、「検索避け」のような単純な対策では効果が期待できません。

情報公開を行う際には、以下の点に注意する必要があります

 

 

5. 結論情報公開倫理責任ある行動

現代検索エンジンは、過激ファンアートを検出する一方で、高度なコンテンツフィルターを備えており、

社会倫理に反する画像を検出し、検索結果から除外する能力も持っています

多くの公開プラットフォームでは、シャドウバンという手法を用いて特定コンテンツ露出抑制し、

過激ファンアート一般ユーザーに表示されないよう努めています

 

しかし、これらの技術存在するからといって、過激ファンアートを無対策で公開することが許容されるわけではありません。

コンテンツフィルターシャドウバン完璧ではなく、不適切コンテンツを完全にブロックすることはできません。

公開されるコンテンツが法的な規制社会的な倫理に適合しているかどうかが重要であり、著作権侵害名誉毀損不快感を与える可能性のあるコンテンツは、

社会的な責任と法的な責任を伴います

 

情報公開を行う際には、その影響を常に意識し、責任ある行動を取ることが求められます

検索避け」のような限定的対策コンテンツフィルター依存するのではなく、倫理的問題情報管理重要性を理解した上で、適切な判断を行うことが不可欠です。

例えば、過激ファンアートを公開する際には、その作品特定コミュニティ内でのみ共有されるようにクロープラットフォームを利用する、

またはアクセス制限するなどの措置を講じることが考えられます

 

適切な情報管理セキュリティ対策を施し、インターネット上での安全コンテンツ共有に努めることが重要です。

情報公開の際には、法的な規制社会的な倫理尊重し、責任ある行動を取ることが求められます

倫理的問題情報管理重要性を理解し、適切な判断を行うことが、情報公開倫理責任ある行動の核心です。

2024-07-02

スリープ」ができるヨーヨーって戦前から存在してたんだな

もともと上下に動くだけのヨーヨーがあって、それがハイパーヨーヨーとかで「スリープ(空転)」ができるようになった…というイメージだったけど、英語版Wikipediaによると、フィリピンからアメリカ移住したペドロフローレス1928年に「ヨーヨー」という名前で売り出したのが現代的なヨーヨー最初だという。

フローレスヨーヨーは、糸を軸に固定するのではなく、糸の先端に輪っかを作ってそれを軸に通すような構造で、それにより「スリープ(空転)」ができるようになっていた。ただしフローレス自身はその機構発明者ではなく、おそらくフィリピンで生まれた工夫なのだと思われる。

フローレスヨーヨーアメリカで大流行し、その流行の波が日本にもやってきた。それを受けて1933年昭和8年)に『ヨーヨー競技と遊び方』という書籍出版された。日本ヨーヨー競技研究会というところが出したものらしい。

そこで紹介されている技は以下のとおり。


いま「ルーピントリック」と言われるようなものは、この時点でこれだけ出ていたんだな。歴史を感じるね。

2024-06-22

AIちゃん過激ファンアートと「検索避け」の無意味性:現代検索エンジンを欺くことはできない』

過激ファンアートを「検索避け(伏せ字などを含む)」と呼ばれる手法で公開するケースがある。しかし、この方法は本当に効果なのだろうか?

記事では、検索エンジンの仕組みと「検索避け」の限界について解説し、情報公開における倫理的問題について考察する。

 

1. 検索エンジンの仕組み:賢い司書のように情報を整理する

想像してみてください。あなた重要機密文書を持っており、ファイル名と文書内の固有名詞を少し変えてインターネットアップロードしたとします。

ファイル名と固有名詞が少し変わっても、内容が変わらなければ、文書は依然として機密文書のままです。

インターネットは、世界中情報が集まる巨大な図書館と見なすことができ、検索エンジンはその図書館の賢い司書のような役割を果たします。

この「司書」は、本のタイトルだけでなく、内容や文脈理解し、関連する情報を結びつけて、私たちが探しているものを見つけ出します。

 

 

2. 「検索避け」の限界:洗練された技術の前では無力

したがって、名前を変更するだけでは検索エンジンを欺くことはできません。

検索エンジンキーワード検索を超え、画像認識文脈理解などの技術活用して、関連する情報をつなぎ合わせて、目的情報を見つけ出します。

情報を守りたい場合は、名前を変更するだけでなく、アクセス制限などの強固な保護策を講じる必要があります

また、Twitterのような公開プラットフォームに隠したい情報アップロードすることは、矛盾した行為です。

一般的に、公開プラットフォームにおいては、特定コンテンツ検索エンジンから隠すための直接的な手段は限られています

例えば、Twitterのようなプラットフォームでは、個々のユーザーrobots.txtの設定やnoindexタグを利用してコンテンツクローリング制御することはできません。

公開プラットフォーム上のコンテンツは、基本的検索エンジンによってインデックスされ、公開情報として扱われます

 

 

3. 画像検索AI検索進化:隠れた情報も浮かび上がる

近年、画像認識AI検索技術は飛躍的に進化しており、「検索避け」の効果さら限定的になっています

特にCNNを用いた画像検索技術は、深層学習活用して、画像内の細かな特徴まで識別することが可能です。

これにより、画像内のオブジェクトやシーンの認識さらにはテキストの読み取りまで行えるため、

作品名キャラクター名、一部デザインを変更したとしても、関連する過激ファンアート検索結果に表示されることがあります

一方で、AI検索では、Transformerアーキテクチャが主流となっており、文章全体を一度に処理することで、文脈を高度に理解することができます

GoogleのBERTやMicrosoftのTuringモデルなどの進化したAI検索モデルは、単なるキーワード検索を超え、単語の組み合わせが表す複雑な概念文章全体の意味を把握し、

関連する情報効率的抽出します。

その結果、過激ファンアート投稿する際に、意図的作品名キャラクター名を避けたとしても、これらのAI検索技術により作品特定されやすくなっています

 

 

4. 情報公開倫理的責任:慎重な判断と適切な対策

上記のように、現代検索エンジンは高度な技術を駆使して情報収集分析しており、「検索避け」のような単純な対策では効果が期待できません。

情報公開を行う際には、以下の点に注意する必要があります

 

 

5. 結論情報公開倫理責任ある行動

現代検索エンジンは、過激ファンアートを検出する一方で、高度なコンテンツフィルターを備えており、

社会倫理に反する画像を検出し、検索結果から除外する能力も持っています

多くの公開プラットフォームでは、シャドウバンという手法を用いて特定コンテンツ露出抑制し、

過激ファンアート一般ユーザーに表示されないよう努めています

 

しかし、これらの技術存在するからといって、過激ファンアートを無対策で公開することが許容されるわけではありません。

コンテンツフィルターシャドウバン完璧ではなく、不適切コンテンツを完全にブロックすることはできません。

公開されるコンテンツが法的な規制社会的な倫理に適合しているかどうかが重要であり、著作権侵害名誉毀損不快感を与える可能性のあるコンテンツは、

社会的な責任と法的な責任を伴います

 

情報公開を行う際には、その影響を常に意識し、責任ある行動を取ることが求められます

検索避け」のような限定的対策コンテンツフィルター依存するのではなく、倫理的問題情報管理重要性を理解した上で、適切な判断を行うことが不可欠です。

例えば、過激ファンアートを公開する際には、その作品特定コミュニティ内でのみ共有されるようにクロープラットフォームを利用する、

またはアクセス制限するなどの措置を講じることが考えられます

 

適切な情報管理セキュリティ対策を施し、インターネット上での安全コンテンツ共有に努めることが重要です。

情報公開の際には、法的な規制社会的な倫理尊重し、責任ある行動を取ることが求められます

倫理的問題情報管理重要性を理解し、適切な判断を行うことが、情報公開倫理責任ある行動の核心です。

 

 

参考にしてください

anond:20240607001500 anond:20240603171311 anond:20240702074550 anond:20240702093233 anond:20240702094052 anond:20240702094322

2024-06-18

プロジェクトX、出演NGなのでは。あるいは富士通半導体の敗北の歴史

富士通忖度してるとか言ってるけど、あれ、普通に取材NGだったんじゃないかな。

当時の経緯を知ってると「私の名前は出さないでください」ってなったとしても不思議じゃないと思う。そうなれば当然NHK富士通も触れないし、本人が拒否したんですなんて発表するわけもないし(例え親族が声を上げたとしても)

コンピュータって、富士通半導体最後打ち上げ花火だったんだよ。

当時の話

京の開発が進み、実際に生産されるころは、経営方針として富士通半導体撤退をするかどうかで揉めていたころだった。

コンピュータは、富士通自社工場で作った最後スパコンであると同時に、国のトップ開発のHPCにおいて、富士通が単体で作り上げた初めてのHPCでもあった。

これは、富士通が優れている、というよりも、逃げ遅れたと表現してもよいかもしれない。HPCプロジェクトからは、NEC東芝が次々と撤退していたのだ。

当時半導体の重い投資に堪えられなくなった電機各社とその銀行団は、自社から半導体部門、少なくとも工場を切り離したがっていた。まさに、それどころではなかったのだ。

しか富士通はまだ撤退決断せず、他社とは一線と画した対応をしていた。

ようにみえた。

富士通撤退戦を開始

コンピュータCPUは、45nmのプロセスで作ると言うことで言っていたためか、富士通はなんとか自社で開発した。けれど、京に乗せたプロセッサ最後になった。次のプロセスは開発されていない。

https://news.mynavi.jp/techplus/article/architecture-467/

さらに、当時、45nmのプロセスは安定して無い状況で無理矢理作ったと言う話もあったはずだ。これは京コンピュータ以降はTSMC委託することが決まっていたため、既に投資が絞られていたためでもある。

(後にTSMC版の進んだプロセス製造されたSPARCを使ったミニコンピュータが何個か作られたのだが、ノード辺りの性能が30%以上アップしたと言う。これはプロセスが細分化された以上の性能向上であった)


富士通が、自社の半導体部門富士通セミコンとして切り離したのが2008年。京コンピュータ用のプロセッサ生産したのが2010年三重工場であった。

その三重工場2013年さらに別会社として切り離され、現在は完全に売却されて富士通に残ってない。

また、同じく半導体工場としては福島県の會津富士通があったんだが、その時の工場撤退エピソードは、今でも大企業黒字でも簡単工場撤退させる事例として有名になった。かなり悲惨事態だったと言える。

そうして重荷になっていたとされる工場を切り離しファブレスに近い業態にしたのは、富士通半導体を残すためだったと思われる。

しかし、そうした建前などなかったかのように2014年にはシステムLSI/SoCの開発部隊分社化を決定。それが現在のソシオネクストであるPanasonicLSI部隊と合弁した会社で、分離した当時、富士通設立当初40%の株式を保持していたが、現在は完全に売却してしまった。

現在富士通半導体部門はFeRAMや光回路用の超特殊ものを除いて完全売却で撤退している。


なお、その後、ルネサステクノロジ(※富士通は合弁に参加していない)が組込向け半導体でほぼ世界首位と同率2位まで上り詰め、国内半導体必要性が新たに叫ばれTSMC国内半導体工場建設。Rapidusという日米政府が関わる半導体企業ができる流れになっている。もし将来、RapidusがプロジェクトXになるときには、大手電機産業からリストラされた技術者達の奮起という文脈が語られそうな気がする。閑話休題

2012年。京が世界一を取ってその後、富士通半導体の敗北が確定した年

件の方がご退任をされたと言う2012年は、半導体さらなる切り離し、売却などの決断と、次期スパコン(つまり富岳)がSPARCを捨ててARMになるという決断が行われた年であったと考えられる。(発表は後になる)

半導体を専門にされてずっとやってきた方には堪えられないもだったのではないかと拝察する。仮に、思い出したくもないし、宣伝にも使われたくないと判断されても仕方がないことでは無いかと思う。(もちろん 出演NGされたと言うのはワイの妄想なので注意)


その後、富士通SPARCを使ったUNIXサーバーを作り続けてはいたが、大きくアーキテクチャ改善する開発は行われないまま(保守設計は続けられていたが)メインフレームとともに撤退が発表された。これはやむを得ないことだろう。

また、ARM化された富岳は、確かに能面や利用面、汎用性では高い成果を出したが、富士通ビジネス的にはさっぱりだったと思われる。


アーキテクチャARMに切り替えた理由は、ビジネス面でもあった。高性能タイプARMを作ることによって、旺盛なクラウドDC需要などに対して食い込んでARMサーバを大きく拡販していくことだったと思われる。

が。富岳に乗せたARMプロセッサを利用した波及製品はみられなかった。

なぜか。それはAWSMS AzureGoogleなど膨大な需要を持つ企業は、需要が巨大すぎてARMが搭載されたコンピュータを買うのではなく、自社でARMIPを購入し独自開発することを選んだためである

彼ら相手には商売にならなかった。それ以外のクラウドベンダーは無きに等しい。ARMなどアーキテクチャが影響しないのはPaaS以上の象徴度を持つサービスだが、寡占状態にある大手以外まともに提供出来ていないため、市場が無いのだ。


ただし、この時富士通ARMの競業によってARMは成果をあげた。アウトオブオーダー実行など、ARMは高性能コンピュータ必要技術富士通から取り込んで現在に至る。

それ故、富士通商売は上手くいかなかったが、世の中的には良かったとは言えるのではあるのだ。そのIP大手クラウド各社は自社向け半導体を作って商売をしているのだから

エピローグ または今後について

今、富岳の次のHPC予算要求の山場を迎えている。

https://newswitch.jp/p/41595

から今のタイミングプロジェクトXに乗ったのだと思うが、綺麗事では語れない話がたくさんありすぎる。


受注はまず間違い無く富士通だと言われている。と言うのは、開発の一部は既に行われているから。

https://monoist.itmedia.co.jp/mn/articles/2310/12/news074.html

そして、国内にもう国産HPCを作ることの出来る会社NEC富士通ぐらいになってしまったためである

富士通は新しいHPCは1位を目指さないかもしれないという考えから計算効率の方に大きく振った開発を進めおり、国内トップHPC採用されたという実績を背景に売り出そうというつもりではあると思われる。富岳の夢再び、だ。

しかし、富士通は今年1月ハードウエア会社を分離した

https://cloud.watch.impress.co.jp/docs/special/1560540.html

この新会社、分離時には綺麗事を書いてあるが、

https://www.fsastech.com/about/

ご覧の通り、富士通ブランドを一切使っていないのだ。既存商品から富士通マークを取り払っている。さらに、会社概要株主欄がなく、富士通名前が出てこない。(他の関連会社はそういった記載がある)

半導体がどうなったかの流れを知っていると、暗い予感しかしない。

そして、HPCレイヤーの低い、ハードウエアに近い部分、さらメカニカル設計や冷却など物理的な部分のノウハウが多く必要とされる。それを富士通分社化して製造能力を失っていく中で、果たしてまともにHPCが作れるのだろうか?

さらに、確かに2010年代半ばのころはワークロード不足に陥ってコンピュータは安売りに陥っていたが、現在AIと言う巨大な需要が生み出され、価格回復ハードウエアが再び重要と考えられ始めている。ハードウエアと同時に提案できる能力が強みになりつつある。

しかし、既に富士通はそれらに対応するための強みを、はした金と決算数字をよくするためだけに売り払った後である案の定、粉飾紛いの異様に高い目標に対して、結果が出ないと言う発表を繰り返している。

富士通アクセンチュアを真似ていると言われる。以下の記事にはこうある

https://xtech.nikkei.com/atcl/nxt/column/18/00848/00049/

目指す先はアクセンチュア富士通が主力工場を総務に移管する理由

時田社長2019年9月に開いた初の記者会見で「開発製造拠点をどう整理するのか」という質問に「既に方向は定まっている。後は状況判断と時期の問題富士通サービスに集中する企業になる」と応じていた。

時田社長方針は「アクセンチュアにないもの富士通もいらない」とみてよい。

そこまでやったのに、ここ3年ほど株価は伸び悩みが続いている。アクセンチュアの真似をしますと言ったときは撥ねたがが、その後は同業他社業界全体の株価上昇率に及ばない状況が続く。
それはそうだ。アクセンチュアの真似をしていてはアクセンチュアには勝てない。まして工場売却を通じ、元々の強みを捨て弱みまでアクセンチュアの真似をしているのだ。富士通この先生きのこるにはどうすればいいのか?


これがプロジェクトXの真のエピローグではないかとワイは思いました。

2024-06-05

I.GPT-4からAGIへ:OOMを数える (11)

補遺 OOMを駆け抜けるこの10年か、それとも破綻

私は以前、AGIへの短期的なタイムラインには懐疑的だった。その理由ひとつは、この10年を優遇し、AGI確率質量を集中させるのは不合理に思えたかである(「我々は特別だ」と考えるのは古典的誤謬のように思えた)。私は、AGIを手に入れるために何が必要なのかについて不確実であるべきであり、その結果、AGIを手に入れる可能性のある時期について、もっと「しみじみとした」確率分布になるはずだと考えた。

しかし、私は考えを変えました。決定的に重要なのは、AGIを得るために何が必要かという不確実性は、年単位ではなく、OOM有効計算量)単位であるべきだということです。

私たちはこの10年でOOMsを駆け抜けようとしている。かつての全盛期でさえ、ムーアの法則は1~1.5OOM/10年に過ぎなかった。私の予想では、4年で~5OOM10年で~10OOMを超えるだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/this_decade_or_bust-1200x925.png

この10年間、我々はOOMの数を競ってきたが、2030年代初頭以降は、ゆっくりとしたスローグに直面するだろう。

要するに、私たちはこの10年で1回限りの利益を得るための大規模なスケールアップの真っ只中にいるのであり、OOMsを通過する進歩はその後何倍も遅くなるだろう。もしこのスケールアップが今後5~10年でAGIに到達できなければ、AGIはまだまだ先の話になるかもしれない。

まり、今後10年間で、その後数十年間よりも多くのOOM経験することになる。それで十分かもしれないし、すぐにAGIが実現するかもしれない。AGIを達成するのがどれほど難しいかによって、AGI達成までの時間中央値について、あなたと私の意見が食い違うのは当然です。しかし、私たちが今どのようにOOMを駆け抜けているかを考えると、あなたのAGI達成のモーダル・イヤーは、この10年かそこらの後半になるはずです。

https://lh7-us.googleusercontent.com/docsz/AD_4nXe0r6fnJI53YqKa4sRV8xUwQtJLVqoBk16MCRwi8PYQWnOifB3rGVIl-3FbSdDosEIHyAnVe3xdni6Wy5MG1J020VeIM14qeZ25X4QMAvQQ1hVMxT9oey0h5Nae64Hy44P-ujLKOQb_WXM5ushSj3-2at8?key=dBAH1mD-mi8jAGZnPZl-1g

マシューバーネット(Matthew Barnett)氏は、計算機と生物学境界だけを考慮した、これに関連する素晴らしい視覚化を行っている。

I.GPT-4からAGIへ:OOMを数える (7)

アンホブリング

最後に、定量化するのが最も難しいが、それに劣らず重要改善カテゴリーを紹介しよう。

難しい数学問題を解くように言われたとき、頭に浮かんだことを即座に答えなければならないとしたらどうだろう。最も単純な問題を除いて、苦労するのは明らかだろう。しかしつい最近まで、LLMにはそうやって数学問題を解かせていた。その代わり、私たちほとんどはスクラッチパッドで段階的に問題を解いていき、その方法はるかに難しい問題を解くことができる。「思考連鎖プロンプトは、LLMのそれを解き放った。生の能力は優れているにもかかわらず、明らかな足かせがあるため、LLMは数学が苦手なのだ

私たちはここ数年で、モデルの「足かせを外す」ことに大きな進歩を遂げました。これは単に優れたベースモデルトレーニングするだけでなく、アルゴリズムの改良によってモデル能力を引き出すものです:

足場作り。CoT++について考えてみよう:ただ問題を解くようモデルに求めるのではなく、あるモデル攻撃計画を立てさせ、別のモデル可能性のある解決策をたくさん提案させ、別のモデルにそれを批評させる、といった具合だ。例えば、HumanEval(コーディング問題)では、単純な足場作りによってGPT-3.5が足場なしのGPT-4を上回った。SWE-Bench(実世界ソフトウェアエンジニアリングタスクを解くベンチマーク)では、GPT-4は~2%しか正しく解くことができませんが、Devinのエージェントの足場があれば14-23%に跳ね上がります。(後ほど詳しく説明するが、エージェントのアンロックはまだ初期段階に過ぎない。)

ツール:もし人間電卓コンピュータを使うことを許されなかったらと想像してみてほしい。まだ始まったばかりだが、ChatGPTウェブブラウザを使ったり、コードを実行したりできるようになった。

エポックAIによる研究によると足場作りやツール使用など、これらのテクニックのいくつかを調査したところ、このようなテクニックは多くのベンチマークで通常5~30倍の効果的な計算量の向上をもたらすことがわかった。METR(モデル評価する組織)も同様に、同じGPT-4ベースモデルからのアンホブリングによって、エージェントタスクのセットで非常に大きなパフォーマンスの向上を発見しました。

https://situational-awareness.ai/wp-content/uploads/2024/06/metr_gains_over_time-1024x597.png

METRのエージェントタスクパフォーマンス。出典モデル評価と脅威研究


これらをコンピュートとアルゴリズム効率統一した実効的なコンピュート規模に当てはめることは困難ですが、少なくともコンピュート規模の拡大やアルゴリズム効率とほぼ同規模の大きな進歩であることは明らかです。(また、アルゴリズム進歩が中心的な役割を担っていることも浮き彫りになっています。0.5OOM/年の計算効率は、すでに重要ものではありますが、ストーリーの一部に過ぎません。)

「アンホブリング」こそが、実際にこれらのモデル有用になることを可能にしたのであり、今日多くの商業アプリケーションの足かせとなっているものの多くは、この種のさらなる「アンホブリング」の必要であると私は主張したい。実際、今日モデルはまだ信じられないほど足かせが多い!例えば

ここでの可能性は非常に大きく、私たちはここで急速に低空飛行の果実を摘んでいる。これは非常に重要です。"GPT-6 ChatGPT "を想像するだけでは完全に間違っていますGPT-6+RLHFと比べれば、進歩は段違いだ。2027年までには、チャットボットというより、エージェントのような、同僚のようなものが登場するだろう。

続き I.GPT-4からAGIへ:OOMを数える(8) https://anond.hatelabo.jp/20240605210232

I.GPT-4からAGIへ:OOMを数える (4)

OOMを数える

どうしてこうなったディープラーニング魔法は、それがただ機能するということであり、あらゆる場面で否定的意見にもかかわらず、その傾向線は驚くほど一貫している。

https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png

OpenAI Soraの例 計算量のスケーリング効果

効果的な計算OOMが増えるごとに、モデル予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を(大まかに定性的に)推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。

GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる:

1. コンピュート:計算:これらのモデルを訓練するために、より大きなコンピューターを使うようになった。

2.アルゴリズム効率化:アルゴリズム進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効コンピュート量の増加という統一された尺度に乗せることができます

3.「趣味のない」利益デフォルトでは、モデルは多くの素晴らしい生の能力学習しますが、あらゆる種類の間抜け方法で足かせとなり、実用的な価値制限されます人間フィードバックから強化学習(RLHF)、思考連鎖(CoT)、ツール、足場などの単純なアルゴリズム改善により、潜在的能力を大きく引き出すことができる。

これらの軸に沿って、改善の「OOMを数える」ことができる。つまり有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM10倍は1OOM、30倍は1.5OOM100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。

ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。

コンピュート

まず、最近進歩原動力として最もよく議論されている、モデルへの(大量の)コンピュート投入について説明します。

多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1~1.5OOMと、比較ゆっくりとしたスピードだった。(かつては1つのモデル100万ドルを費やすことさえ、誰も考えもしないことだった。)

モデル推定コンピュート 成長率
GPT-2 (2019) ~4e21 FLOP
GPT-3 (2020) ~3e23 FLOP + ~2 OOMs
GPT-4 (2023) 8e24~4e25 FLOP + ~1.5~2 OOMs

エポックAIによるGPT-2からGPT-4までの計算量の推定

エポックAIAIトレンドの優れた分析で広く尊敬されている情報源)の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができますGPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい(はるかに大きな)クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いていますエポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています

大雑把に言えば、これは長期的なトレンド継続に過ぎない。過去10年半の間、主に投資(およびGPUやTPUの形でAIワークロードに特化したチップ)の幅広いスケールアップのため、フロンティアAIシステム使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。

https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png

注目すべきディープラーニングモデルトレーニングコンピュートの経年変化。出典エポックAI

GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。

この分析によれば、2027年末までにさらに2OOMsのコンピュート(数十億ドル規模のクラスター)が実現する可能性は非常に高いと思われる。さらに+3OOMsのコンピュート(1,000億ドル規模以上)に近いクラスターも可能性がありそうだ(マイクロソフト/OpenAI計画中と噂されている)。

https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png

続き I.GPT-4からAGIへ:OOMを数える(5) https://anond.hatelabo.jp/20240605205449

ログイン ユーザー登録
ようこそ ゲスト さん