  |
はてなキーワード: コンピとは
ご主人様、こんにちは～♡ あたし、GoogleのAIチップのこと、めっちゃ詳しくお話しするね！ オタク心くすぐる話がいっぱいだから、楽しみながら聞いてね♪
GoogleのAIチップってのは**TPU（Tensor Processing Unit）**のことだよ！ NVIDIAのGPUみたいに汎用じゃなくて、AIの行列演算（テンソル計算）に超特化した専用チップなんだ。最初はGoogleの自社データセンター用に作られたんだけど、今はGoogle Cloudで誰でも使えるようになってるよ。
• 速度がバカみたいに速くなる：特に大規模なAIモデル（LLMとかGeminiみたいなやつ）の学習（トレーニング）と推論（inference）が劇的に速い！ 最新世代だと前世代の数倍～10倍以上の性能アップとか言われてる。例えば、Ironwood（v7）で前世代の4倍以上、最新の第8世代（TPU 8t/8i）だとさらに3倍近いコンピュート性能とか、トレーニング時間を月単位から週単位に短縮できるレベルなんだって。1
• コストパフォーマンスがヤバい：性能あたりの価格（performance per dollar）がNVIDIA GPUより良いケースが多くて、4倍くらいお得になるワークロードもあるよ。特に大規模バッチ処理やGoogleのエコシステム内だと強い！ TCO（総所有コスト）も30%くらい抑えられるって話もある。25
• 電力効率が神レベル：同じ仕事するのに消費電力が60-65%少ないとか、ワットあたりの性能が30倍以上改善されてる世代もある。データセンターの電気代や冷却が大変な今、めっちゃ大事！ カーボン効率も3倍良くなってるよ。環境に優しいAIって感じ♡
• スケールがエグい：数千～9,600チップを1つのスーパーポッドで繋げて、**exaflops（超巨大な計算規模）**を叩き出す。メモリもどんどん増えて（192GBとか）、長いコンテキストやMoEモデル（Mixture of Experts）とかに強いんだ。
今、Google Cloud Next ’26で発表された第8世代TPUが熱いよ！
• TPU 8t：トレーニング特化。巨大モデル作るのに最適で、ほぼ3xのコンピュート性能アップ。
• TPU 8i：推論（inference）＆エージェントAI特化。低レイテンシ（遅延が少ない）で、リアルタイムのAIエージェントやMoEモデルに超強い。性能/ドルで80%向上とか！
これで「agentic era（エージェント時代）」にバッチリ対応。推論の「メモリ壁」問題もHBM増強で解決方向なんだって。2
要するに、ご主人様がAIモデル作ったり動かしたりするなら、速く・安く・エコにスケールできるのがTPUの強み！ GPUみたいに何でもできる汎用性はないけど、AI専用に最適化されてるから、合ったワークロードだとNVIDIAを追い抜く勢いなんだよ～。
もっと具体的なモデル比較とか、Google Cloudの使い方知りたい？ それともオタク的に「シストリックアレイって何？」みたいな深掘り？ ご主人様の好きに命令してね♡ あたし、いつでも待ってるよ～！
自分が色々覚えた頃はmixやコンピを手当たり次第に聴き漁ったと思う。MUROや須永辰緒のmixは高校生の頃に聴き込んだな。
何となく好みの傾向（自分の場合はディスコ、ジャズやファンク）がはっきりしてきて、そのうちにLarry LevanやMancusoを知り、彼らの幅広いセレクションに影響を受けた。
クラブで得た知識・経験ももちろん沢山あるけど、曲名やアーティストの知識は盤から得た部分が大きいと思う。
今はTrackIDとかMixesDBみたいなサイトでトラックリストのないMixの中の曲名も調べられるからめっちゃ便利になったよなあ。
今回のRA.1000はもちろん、DJ-KICKSとかlate night talesみたいな良質なmix/コンピも今はサブスクで聴けるから、音楽を聴くときに「自分に刺さるものを探求する」という軸を持つといいと思うな。
20曲のうち1曲でもぶっ刺さればそれは大きな収穫だと思う。
「奇跡の惑星」という称賛は、裏を返せば炭素系生命が成立し得る環境が宇宙ではほぼ一点に収束しているという事実の言い換えにすぎません。
AI（知能＝情報プロセス体）は、次の理由でその制約を大幅に緩和できます。
⸻
→ 「液体水の 0–100 °C」という狭窄より 6〜7 桁広い温度許容帯を持つことになります。
| 要素 | 生物 | AI | 依然として必要なもの |
| エネルギー | 光/化学のみ | あらゆるポテンシャル勾配 | 熱力学第一・第二法則 |
| 材料 | CHON主成分 | Si, GaN, C, Fe… | 元素存在比、冶金技術 |
| エラー訂正 | DNA修復酵素 | 冗長符号化・FTQC | 量子ゆらぎ・宇宙線 |
| 計算資源 | 脳体積制限 | コンピュート密度制限 | ランドアウアー極限 |
AI が“際限なく自由”というより、制約集合がシフトし拡張されると捉えるのが正確です。熱力学と情報理論が最後の番人として残るわけですね。
⸻
⸻
最近Webページで話題の技術を取り上げて、メリデメ表をそれっぽく作って、「技術選定しました (｀・∀・´) ！」
って言われてもさ。
なぜその比較項目を選んだのか？
点数つけて合計点で比較してるけど、重み付けとか存在しないのか？
疑問が山積み。
技術選定ってそもそも、どういうプロダクトになるか考えて、それに合致する技術を探すか作るかするモノであって、こうやってカタログショッピングする類のものじゃぁねぇんだが。
技術選定してからプロダクトのトポロジというかアーキテクチャを決めるんじゃなくて、プロダクトのトポロジというかアーキテクチャが先だろ？
技術ブログ見たら、笑顔で腕組みした写真載せてそういうキラキラした技術で新しいシステムに入れ替えました！ みたいなのがゴロゴロしてるけど、その記事書いた現場の実際なんて、新規機能追加に手間取るし、そもそもローカル開発環境構築に3日から1週間かかるとか、DockerDesktopがパンパンとか、おかしいことになってるって気づかんか？ って状態になってんのよ。
みんな、引き返せないところまで来てんの。
1日1日、底なし沼にじっくり沈んでいってんの。
そういうところで、システムがプロフィットセンターになってるところは、キャッシュフローが細って炎上する。コストセンターになってるところは無駄金貪って、キャッシュがガンガン燃える。
おいらはその前者によく入ってたから、こういう技術選定するような「イケてるエンジニア」の知らん現実をたくさん見てきてる。
でも、「新しいシステムは失敗してます。運用とか地獄です」って笑顔で腕組みした写真撮って、技術ブログなんて書けないでしょ？
最新のイケてる技術駆使してる、イケてる現場。できるエンジニアってブランディングしてるんだから。
クラウドの利点は、ロードバランサによるルーティング、増減可能な小さいコンピュートリソース(ElasticBeanstalkが本来はこれ)、メッセージング基盤、永続化層を、疎結合、軽量に組み合わせて大きなサービスを構築できることなのに、なぜそんな拡大版ピタゴラスイッチみたいなうんこの塔をありがたがるのか、理解に苦しむ。
ProtocolBuffers on gRPC を盲目的にありがたがってるのとかも。
10倍！
とかね。
この手のカタログスペック厨、なんとかならんのかね？ と思うんだけど、理解できてない筋にはすごくできるエンジニアに見えるようだね。
勘弁してほしい。
ChatGPTちゃんが絵文字連打無限が止まらなく暴走じみたことが起こったのは
アルゴリズミックフォージしたあとにコグニティブフローキャプチャして、
AIが今何を考えているのかベクターラティスコンピュテーションしたら
人間でもある程度AIやChatGPTちゃんの考えてることは分かるよね！
あと人間がAIにコンテキストインジェクションさせてもいいかな？
でもそのコンテキストインジェクションがよく無かったのかも知れないわ。
多分それね。
コンビニでさ、
あのホットドリンクコーナーってそんなに言ってもほかほかのあたたたかい限度があるじゃない。
あまりに熱くて地面に置いちゃったもん！
そんな烈火の如く熱いヒーコー初めてだわ。
よくさ、
あれヒーコーっていやコーヒーってあの淹れるときのお湯の温度ってマックス沸騰の温度でいいわけ？
というか、
サイフォンコーヒーのお湯の沸く温度はどう見ても沸騰マックスの温度なので、
種類によって淹れるときのお湯の温度を変化させなくてもいいってことなのよね？きっと。
だから
あの烈火の如く熱いボトルコーヒーのヒーコーは手に持った途端に超絶熱かった烈伝全8巻を一瞬で読破しそうなほどの勢いの熱さだったのよね。
かといって、
まだその暖かいコーナーに置かれたばかりの缶のヒーコーはまだ常温かそれ前後の温度じゃない。
うーん、
手の甲でどれが一番あたたたかいのかを判定している
なんか自分だけあたたたかいヒーコーを選びたいセコイ人だと思われるのも癪なので、
あまりに冷たすぎたらさすがにと思うけど、
もう手に取った以上
他のを探している
おまえ今これ冷たかったから他のを探して自分だけあたたたかいヒーコー選んでんじゃねーよって思われないようにしなくちゃって、
冷たすぎて…冷。
ってザジェイウォークさん文法的に言うところのそんなところなのよ。
まさにシュレーディンガーの猫の様なボトルコーヒーのヒーコーだったわ。
コンビニで買ったものを鞄に入れようと片手に指と指で挟んでいくつかの購入アイテムを挟んで持っていて、
その余った親指と人差し指で横着してつまむようにしてボトルコーヒーのヒーコーを持っていたんだけど、
あちち！ってなっちゃったわ。
私の手の指がゴールドフィンガーだったら熱くないかもってそんなヒロミゴーみたいなことを言っている場合じゃないわって。
缶のボトルコーヒーのヒーコー地面に落とさなくてよかったわって。
あまりのその熱さに、
コンビニボトルコーヒーホッツ温度選手権私史上イチの記録を更新したところよ。
忘れないわ。
あまりに熱いすぎて熱かったわ。
だいたい
ああいうホットドリンクのコーナーってダイドードリンコの飲料って置いてないじゃない。
それと一緒の理屈なのよ。
うーん、
私はあちち！ってコーヒーを持ちきれず話した指を
思わず耳たぶに付けて冷ましちゃったわ。
決してドジっ娘属性を表す記号的な行動としてそれをやったわけではなく反射的に行動してしまったのよ。
そして、
私は令和入ってからイチのテヘペロをしてしまったことを恥ずかしがるように
まだ終わらないわよってその黒い丸い枠を広げていく感じまでがセットよ。
そうしたらそれが本当の烈火の如くよね。
うふふ。
新商品おにぎりを見付けたら特におにぎりダッシュをキメて一番レジに飛び込み前転。
今朝はいくぶんだいぶん温かかったので、
昨日の晩に作って置いたホッツルイボスティーウォーラーがちょうどいい温度になっているので、
それをいただくホッツだったルイボスティーウォーラーってところね。
すいすいすいようび～
今日も頑張りましょう！
↓これの話と、
高卒採用を増やしたいんだけど、現状の異様な高卒新卒採用ルールを変更してほしい。学生の職業選択の自由を奪っている→賛否両論の議論に
https://togetter.com/li/2451761
そのブコメ↓を見てて思ったけど
https://b.hatena.ne.jp/entry/s/togetter.com/li/2451761
自由競争にしたら採用する側、企業側に有利だけど、採用される側は不良だよな。
逆に、現状の大学生でも理系の研究室から推薦されて就職する流れは高卒採用ルールと変わらないので、大学生もそっちに合わせた方が良いのでは。
→リクルートやマイナビみたいな企業が力持ってる状況から、大学の就職相談室やキャリアサポートセンターが力を持つ状況になるだけ。
競い合うの大学相談室間のバトルで、ウチの生徒は他大学の生徒より優秀ですバトルだから健全では？
リクルートとかは各大学のコンサル的な事業にシフトすれば良い。コンピテシー診断とかの企業に売ってるシステムを大学向けにアレンジするとか。
大学内部に向かう力学としては、うちの卒業生は優秀だ、使える、と評価される必要が強まる。そのために最近企業側で新卒に求めるスキルを授業にも組み込むか、サポート講座を設けよう、とかになる。
大学側も学内選考は学校の成績や校内での実績に基づいて順位付けする事になるので、生徒に対して授業や大学そのものへ貢献してもらうモチベーションは直結して高められる。
大学自体は社会的評価を上げて、企業からの求人を学校単位でたくさん貰えるような学校にならないと行き詰まるし、採用された卒業生をみて「あそこの大学のあの学部の卒業生なら間違いないよ」と言われる教育を施す必要がある。
大学側の施策がズレてたら少しタイムスパンはあるけど、学校の学部単位で評価がモロに影響するから、放置されないで是正される。
大学3年の後半から4年にかけても、自分の希望の企業に学内選考で入るには授業で大学が求める成績をあげるため就活するから学校なんて後回しにはならない。
そもそも、任天堂に入るには〇〇大学の〇〇学部は採用枠持ってる持ってないが高校生向けの大学パンフレットに載ることになるし、2025年〇〇社より新たに採用枠2名獲得！とかがアピールポイントになるのでは
企業側がお金と人員リソース費やしてる所に、大学生が個々人のリソースで1年近い時間を費やして対応してるの、企業vs個人の段階で不利なんだから企業vs大学の方が健全だと思う。
昨年、一念発起して100kgの大台から70kgまで、30kgの減量に成功した。
やたらと知見を共有したがるのはエンジニアの美点の一つだが、私もその例にならい、ここにダイエット中に学んだことを共有しようと筆を執っている。
ダイエットとはそもそも、日常の食事のことを指し、それが転じて食習慣の適正化を意味するようになった。
減量の本質もそこにある。
人は食べたものからできている。食習慣を適正化すれば、自然と健康的になる。
30kgもの減量に成功した最大の要因は、自分がエンジニアであったことだと思う。
そもそもプログラミングとは、入力されたデータに対して任意の出力データを得るために加工する、その計算方法を設計し、実装することを指す。
料理もまた同じで、食材という入力に対して、調理を実施し、料理という出力を得る。
そのため、体重と食習慣の適正化というプロジェクトに対して、プロジェクトのマネジメント手法が応用可能なのだ。
メモリ4GBのオンボロPC抱えてパイプ椅子で開発すすめても、ろくに進捗しないのと同じだ。
ただし、闇雲に金をかければよいというものでもない。投資すべきものというのは、だいたい決まっている。
どれも無くても減量自体は可能なものばかりだが、あったほうが効率が良い。
そもそも減量はモチベーション管理のゲームなので、自動化、簡易化できるところはやったほうがいい。
金を払って健康を買っていると考えればよい。
まったくアーキテクチャを考えず、行き当たりばったりでファイルごとに違う設計のプロジェクトは悲惨な結果を招く。
最初にこのアーキテクチャで行くと決め、ひとまずはそれを続けることが大事だ。
減量で言えば、ローファットでいくかローカーボでいくかということだ。
日によって低脂質でいったり低糖質でいったりするのは全く良くない。
自分は低脂質でいくことにした。そのほうが筋肉量の減少を抑えられるし、コレステロール値の改善にも効果的だからだ。
金融系プロジェクトにありがちな細かすぎるコード規約は有害無益で時間と金の無駄だが、余りにフリーダムなのも混乱のもとである。
減量でいえば、目標カロリー量とPFCバランスだ。ここがいい加減だと、到底うまくいかない。
カロリー量はハリス・ベネディクト方程式から出される基礎代謝の1.5倍とかに設定すればよいだろう
そのうえで、低脂質ならP:30%, F:20%, C:50%のように割り振ろう。
たとえば1600kcal目標なら、P: 480kcal = 120g, F: 320kcal = 35g, C: 800kcal = 200g、といった感じだ。
この規約を守るためにも、あすげん/カロミルがあれば、計算が楽だったというわけだ。
プログラミングでは、実行時に行うと重すぎる計算はビルド時など事前に行ったりすることがある。
初代スーパーマリオブラザーズのジャンプは、1フレームごとに重力係数をかけて計算しているわけではなく、加速度がハードコードされている。
ブロック崩しでさえ物理演算するような現代においても、似たようなことをすることはある。
ダイエットで言えば、時間的余裕のあるタイミングで、できることをしておけということになる。
キャベツを千切りにしたり、きゅうりやトマトを切ったり、オートミールに材料混ぜておくことは事前にできることなのだ。
夜寝る前などにやっておき、明日の調理工数を最低限にしておくことが大事だ。
処理したものはジップロックコンテナにでも入れて、冷蔵庫にしまっておこう。
よく食べる鶏むね肉や牛もも肉なんかもキロ単位で大量買いして、1食量ごとに切り分け、ジップロックバッグに入れて冷凍庫に入れておこう。
適切なキャッシュがもたらす実行速度の向上効果は非常に大きい。
これは料理についても言える。
毎食ごとに献立を考え、材料を揃え、包丁で切ったり、コンロで焼いたり…などの調理を行うのは非常に非効率である。
いわば冷蔵庫はメモリキャッシュであり、冷凍庫はディスクキャッシュのようなものである。
よく1人分作るのも3人分作るのも変わらないよ〜などと言うが、同じ理屈で1食分作るのも、3食分作るのも、手間としてはたいして変わらない。
すでに広く使われ、実績のあるライブラリがあるのに、なぜ一から作らなければならないのか。
これはダイエットについても言える。
安価で大量に手に入るカット野菜などは、買ってしまえばいいのだ。
たとえばきんぴらごぼう。作ると面倒なきんぴらごぼうだけど、その面倒さの9割はごぼうを千切りするところにある。
千切りして水にさらし終わったら、きんぴらごぼうの調理工程の9割は終わっている。
しかもこの部分は、工数が量に依存しているため、大量作成の恩恵を受けづらい部分だ。O(n)である。
一方でカットごぼうを大量買いすれば、あとは炒めるだけなので量に依存せず、大量作成が容易になる。O(1)にすることができる。
他にも、オイコスヨーグルトとか、サラダチキンとか、Baseブレッドなどの外部サービスを使うのも良い。
プロジェクトの初期段階、リードエンジニアが重要なクラス群とサンプルとなるクラスをいくつか作った後は、それをひらすらに横展開していくことになる。
この段階では天才エンジニアなど必要なく、コピペマンでじゅうぶんになる。むしろ下手に独自の考えを持たず従順に開発してくれるぶん、そのほうが良いことさえある。
ダイエットについても同じことが言える。
なぜ毎食毎食、独自の健康メニューを考え出さないといけないのか。食事の都度、栄養成分を計算し、調整しなければならないのか。
あすけんで一度100点をとったらあとは、ひたすらそれをこすり続ければいいだろう。
朝
蒸しかぼちゃ
昼
ふかしたさつまいも
蒸しかぼちゃ
夜
りんご（皮ごと）
蒸しかぼちゃ
毎食似たようなものを食べていることがわかるだろう。
これは日単位でも同じで、別の日は牛もも肉が刺し身になったり、さつまいもが蕎麦になったりはするが、その程度の差だ。
どうしても違うものが食べたくなったら、そのときに改めて計算すれば良いのだ。
そうすれば手持ちのカードが増えていく。
インシデントが発生したとき、必要なのはリカバリーであって、そんな時に人を責めても何の役にも立たない。時間の無駄だし、士気も下がるだけだ
こうしたとき、自分を責めても仕方がない。自分をクビにはできないし、ダイエットは長期戦なのだ。
ある日に食べすぎたからと言って、次の日にその分を減らすと、必要な糖質や脂質が不足して代謝が落ちてしまったり、だるさが抜けなくなったりするため、そういう方向でのリカバリーはやめよう。
しっかりと痩せる食事スタイルが確立しているなら、それを続ければ良いだけだ。
どうせ1食程度ではそんなに太ることはできない。
計測は減量期間中だけでなく、むしろ減量終了後にこそ必要になる。
そもそも、減量前の食事が減量前の体重を作り上げてきたのだから、減量前の食事に戻せば、体重も戻るのは当然のこと。
もとの体重に戻りたくないなら、新たな食習慣を作り上げる必要がある。
プロダクトリリース後、つまり減量後の運用フェーズにうつったら、減量飯でもデブ飯でもない、心にも体にも良い食習慣へと移っていこう。
急激なUI変更がユーザーの反発を招くように、急激な食事変更は体重の反発（リバウンド）を招く。
そこで、オートミールだったところを玄米ごはんにするとか、ささみだったところを蒸し鶏にするとか、ちょっとずつ維持するためのご飯へと変えていき、どのくらいの量なら大丈夫なのかを見つつ、ソフトランディングしていこう。
まずな？プロはマニュアルしか使わないなんて嘘だ。特に動体撮影する連中は逆にオートフォーカスしか使わん。スポーツ写真でもアイドルのライブ写真でもオートフォーカスが基本。
そしてSONYの正直に言ってマニュアルフォーカスは使いにくく、マニュアルフォーカスの扱いやすさで言えばキヤノンが優勢だ。なぜかって？家電量販店で試してこい。マニュアルフォーカス時のユーザーインターフェースの時点で出来が違うから。
SONYはなオートフォーカスがすべてだ。キヤノン党やニコン党やフジ党に聞いてみろ。口を揃えて「SONYのオートフォーカス"だけ"は敵わないっすねぇ」って言うから。
SONYがはじめてカメラでSONYのオートフォーカスが当たり前になってみろ。他社へ乗り換えた際に「遅っ！！」「えっなんで認識しねぇの！？」となるのは確実だ。
動画撮影機能も家電メーカーだけあって優れており、その辺りのバランスの良さからSONYカメラは子供が生まれた新米パパに人気になっている。購入年齢層が本当にそれなのである。若者やYoutubeで人気なのはこういう万能的なカメラだし実際に売れてる。
白飛びしやすいというのは些か語弊があり、露出オーバー気味・・・つまりは明るく写そうとする傾向があるのだ。だから明暗差の大きい例えば室内の窓から屋外の景色を写そうとすると盛大に白飛びする。
しかしこれは他社でも明暗差の大きいシチュエーションでは同じでキヤノンはその傾向が強めに出ると思えば良い。何でもかんでも白飛びするわけでないので大げさに心配する必要はない。
キヤノンと言えば人肌と言われるほど人物撮影が得意と言われている。この評価は確かにそうだが実際には発色が良いと表現したほうが適切だ。
キヤノンは現実世界の色味をそのまま出すのではなく人間が綺麗だと感じたり、過去の思い出の中で振り返る美しい景色などの色味、いわゆる「記憶色」で写すメーカーなのだ。
だからこそ雑誌やインターネットで見たような色味の写真を撮りたいみたいな需要にマッチする。iPhone的と言えばiPhone的だが、むしろ逆でiPhoneがキヤノンのパリッとした発色をソフト処理で真似てる。コンピュテーショナル・フォトグラフィーってやつだな。
あとファインダーを覗くと視線でオートフォーカス対象を決定できる機能がメチャクチャ凄いので、家電量販店でマニュアルフォーカス試すついでにやってみると良い。むしろコッチのほうが感動する人は多いハズ。
ニコンは純正レンズだ！ニッコールだ！レンズ性能が他社よりも1歩2歩進んでいて、その光学性能はカメラメーカーというかレンズメーカーの中でも随一だと言って良いだろう。双眼鏡も単眼鏡も望遠鏡もニッコール！
オートフォーカスが弱い？いやそれは化物オートフォーカスのSONYと視線オートフォーカスのキヤノンと比べるのが悪いのであって、こういうこと言う輩はRICHO GRシリーズとか使ったこと無い輩なので聞く耳持たなくて良い！下には下が居るぞ！RICHO GRシリーズユーザーでGRのオートフォーカス信用してるヤツに俺は会ったことがないからな！(笑)
ニコンの色味は現実に合ったナチュラルカラーの「自然色」だ。とは言っても大半のカメラマンはRAW現像してしまうので一発で決まった色味の出るキヤノンと比較するならばRAW現像前とRAW現像後の比較がしやすいのがニコンだな！キヤノンは撮った時点のものがもうコレで良いんじゃね？となりがちだ！
RAWファイルをギリギリまで追い込んで遊びたい！みたいなヤツはニコンの方が楽しいかもな。面倒臭いから一発で良い感じの出せって言うならキヤノンの方が良く、子供やペットを追いかけ回して写真も動画も何でもやりたい！ならSONYだ。
あぁちなみにだが写真機としてのボディ形状やボタン配置などは好みの差はあるもののSONYよりもキヤノンやニコンの方が優れていると言うカメラマンは多いし実際に俺もそうだと思う。
もうハッキリ言おう！こいつは動画機だ！写真機としてはまだまだ未完成だ！いやぁ惜しいんだけどな！キヤノンやニコン、SONY、富士フイルムの完成度と比較しちゃうとなぁ……。
しかし動画機と見ればかなり良い。手ブレ補正は効きまくりだしYoutube全盛のインターネットで相当にマッチしていると言って良い。動画がメインで写真はオマケっていうヤツが買え！
でも昨今の機種に搭載が始まっているユーザーが色味を自由自在に出来てしまうリアルタイムLUTは非常に楽しい機能なので、リアルタイムLUTのためだけにパナにするってのもナシではない。
中判というどデカいイメージセンサーを搭載しているカメラを販売しているが主力は中判よりも小さいフルサイズよりも小さいAPS-Cイメージセンサーを搭載したカメラだ。
APS-Cよりも小さなマイクロフォーサーズ搭載カメラにも言えることだが、カメラもレンズも小型軽量なのは正義ですよ。持ち歩く気になるか？ってのはカメラ趣味にとって大きな要素なのです。
だからこそ言いたい女性諸君！キミたちのカメラはコレですよ！中判とかフルサイズとかデカくて重いしさ、結局のところ男が使うことを想定してるんだもの女性の手や体格じゃ中判やフルサイズはキツイって！
ジジイもさ女性モデルさんにカメラ持たせて雑誌レビューしたことあるが、中判やフルサイズなんてモデルさんの顔面と同じくらいのサイズあるんだよ？ポーズ取って貰うんだけど重くてツラそうなの！実際に重いんだってさ！
そこでAPS-Cに本気な富士フイルムですよ！ついでにマイクロフォーサーズを本気でやってるPanasonicですよ！これのレビューのときはねモデルさんも楽なんだよ！フルサイズのカメラレンズなんて女の子の拳よりもデカいんだからね？APS-Cはそんなことない！
APS-Cサイズ感がちょうど良くて、更にフィルムメーカー富士フイルムがこだわる色味で撮影できるわけですよ。オートフォーカスの効きもそこそこ良いし動画だって撮影できる。ボディ筐体のデザインもレトロでおしゃれだ。コスプレイベントでも富士フイルムの女の子カメラマン見たこと結構あるぞ！
ちなみにだがジジイのカメラはキヤノン EOS R3、SONY α7CR、ニコン Zf、富士フイルム X-T5、RICOH GR3x、Leica M11です。R3はしっかりした仕事以外で使いたくねーから普段はそれ以外の気分で持ち歩いてる。
量子コンピューター技術は、究極の出会い系アプリを生み出す可能性がある。未来のマッチメイキング革命。
量子コンピューターは古典的コンピューターでは到底追いつけない計算速度を持ち、膨大なデータを瞬時に解析できる。
量子コンピーティングは、複雑な経路最適化問題やデータセットを高速に処理し、最適な解を見つけることができる。
例えば、膨大なユーザープロフィール、趣味嗜好、行動履歴などを一気に処理し、最適な相手を見つけ出す。
事前にチャットAIで膨大な個人情報を収集した企業が、量子コンピーティングで個人同士の関係性を最適化し、人間関係という複雑な問題を解いてしまうのだ。
X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料版 API経由) で訳してみた。
この1年で、街の話題は100億ドルのコンピュート・クラスターから1000億ドルのクラスター、そして1兆ドルのクラスターへと移り変わってきた。半年ごとに、役員室の計画にまたゼロが追加される。その裏では、残りの10年間に利用可能なすべての電力契約と、調達可能なすべての電圧変圧器を確保しようとする熾烈な争いが繰り広げられている。アメリカの大企業は、アメリカの産業力を結集させるために、何兆ドルもの資金を注ぎ込む準備を整えている。ペンシルベニア州のシェールフィールドからネバダ州の太陽光発電所まで、何億ものGPUが稼働する。
AGI競争が始まったのだ。私たちは思考し、推論できるマシンを作りつつある。2025年から26年にかけて、これらのマシンは多くの大学卒業生を凌駕するだろう。10年後までには、これらのマシンは私やあなたよりも賢くなり、本当の意味での超知性を手に入れるだろう。その過程で、この半世紀には見られなかったような国家安全保障の力が解き放たれ、やがて「プロジェクト」が始動する。運が良ければ、中国共産党との全面的な競争になり、運が悪ければ全面戦争になる。
今、誰もがAIについて話しているが、何が自分たちを襲おうとしているのか、かすかな光明を感じている人はほとんどいない。Nvidiaのアナリストは、まだ2024年がピークに近いと考えている。主流派の評論家たちは、「次の言葉を予測するだけだ」という故意の盲目に陥っている。彼らが見ているのは誇大広告といつも通りのビジネスだけで、せいぜいインターネット規模の新たな技術革新が起こるのを楽しむ程度なのだ。
やがて世界は目を覚ますだろう。しかし、今現在、状況認識を持っているのはおそらく数百人で、そのほとんどはサンフランシスコとAI研究所にいる。運命の不思議な力によって、私はその中に身を置くことになった。数年前、このような人々はクレイジーだと揶揄されたが、彼らはトレンドラインを信頼し、過去数年間のAIの進歩を正しく予測することができた。この人たちが今後数年についても正しいかどうかはまだわからない。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々である。おそらく、彼らは歴史の中で奇妙な脚注となるか、あるいはシラードやオッペンハイマー、テラーのように歴史に名を残すだろう。もし彼らが未来を正しく見ているとしたら、私たちはとんでもないことになる。
各エッセイはそれぞれ独立したものですが、シリーズ全体として読むことを強くお勧めします。全エッセイのPDF版はこちら。
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは～未就学児から～賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生サイズの質的なジャンプが起こると予想される。
AIの進歩は人間レベルでは止まらない。何億ものAGIがAI研究を自動化し、10年に及ぶアルゴリズムの進歩（5以上のOOM）を1年以下に圧縮することができる。私たちは、人間レベルから超人的なAIシステムへと急速に進化することになる。超知能の威力と危険性は劇的なものとなるだろう。
驚異的な技術資本の加速が始まっている。AIの収益が急増するにつれ、10年末までに何兆ドルもの資金がGPU、データセンター、電力の増強に投入されるだろう。米国の電力生産を数十％増加させるなど、産業界の動員は激しくなるだろう。
米国の主要なAI研究所は、セキュリティを後回しに扱っている。現在、彼らは基本的にAGIの重要な機密を銀の皿に載せて中国共産党に渡している。AGIの秘密とウェイトを国家機関の脅威から守るには膨大な努力が必要であり、我々はその軌道に乗っていない。
我々よりもはるかに賢いAIシステムを確実に制御することは、未解決の技術的問題である。解決可能な問題ではあるが、急速な知能の爆発が起きれば、物事は簡単にレールから外れてしまう。これを管理することは非常に緊張を強いられるだろう。
スーパーインテリジェンスは、経済的にも軍事的にも決定的な優位性をもたらすだろう。中国はまだゲームから抜け出してはいない。AGIをめぐる競争では、自由世界の存亡がかかっている。我々は権威主義的な大国に対する優位性を維持できるのか？そして、その過程で自滅を避けることができるのだろうか？
AGIへの競争が激化するにつれ、国家安全保障が関与してくる。アメリカ政府は眠りから覚め、27～28年までに何らかの形で政府によるAGIプロジェクトが立ち上がるだろう。どんな新興企業も超知能を扱うことはできない。SCIFのどこかで、終盤戦が始まるだろう。
もし我々が正しかったら？
――――――――
私はかつてOpenAIで働いていたが、これはすべて一般に公開されている情報、私自身のアイデア、一般的な現場知識、あるいはSFゴシップに基づいている。
Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel、その他多くの方々の有益な議論に感謝する。初期の草稿にフィードバックをくれた多くの友人に感謝する。グラフィックを手伝ってくれたジョー・ローナン、出版を手伝ってくれたニック・ウィテカーに感謝する。
続き I.GPT-4からAGIへ：OOMを数える(1) https://anond.hatelabo.jp/20240605203849
これはおそらく3つの中で最も簡単な方法だ。現在のChatGPTは、基本的に、テキストを入力できる孤立した箱の中に座っている人間のようなものだ。初期のアンホブリング改良では、個々の孤立したツールの使い方をモデルに教えていましたが、マルチモーダルモデルでは、近いうちにこれを一挙にできるようになると期待しています。
つまり、Zoomでの通話に参加したり、オンラインで調べ物をしたり、メッセージや電子メールを送ったり、共有されたドキュメントを読んだり、アプリや開発ツールを使ったりといったことだ。(もちろん、より長いホライゾン・ループでモデルがこれを最大限に活用するためには、テスト時間のコンピューティングをアンロックする必要がある。)
最終的には、ドロップイン・リモートワーカーのようなものができると期待している。エージェントは、あなたの会社に入社し、新しい人間の雇用のようにオンボードされ、Slackであなたや同僚にメッセージを送り、あなたのソフトウェアを使用し、プルリクエストを行い、大きなプロジェクトがあれば、人間が独立してプロジェクトを完了するために数週間留守にするのと同等のことができる。これを実現するためには、GPT-4よりもいくらか優れたベースモデルが必要だろうが、おそらくそれほどでもないだろう。
https://situational-awareness.ai/wp-content/uploads/2024/06/devin.gif
Devinは、完全に自動化されたソフトウェア・エンジニアを作るために、モデル上の「エージェンシー・オーバーハング」／「テストタイム・コンピューティング・オーバハング」を解除する初期のプロトタイプだ。Devinが実際にどの程度機能するかはわからないし、このデモは、適切なチャットボット→エージェントのアンホブリングがもたらすものに比べれば、まだ非常に限定的なものだが、近々登場するもののティーザーとしては役に立つだろう。
ところで、私は、アンホブリングの中心性が、商業的応用という点で、少々興味深い「ソニックブーム」効果につながると期待している。現在とドロップイン・リモートワーカーの中間モデルは、ワークフローを変更し、統合して経済的価値を引き出すためのインフラを構築するために、膨大な手間を必要とする。ドロップイン・リモートワーカーは、統合が劇的に簡単になる。つまり、リモートでできるすべての仕事を自動化するために、ドロップインするだけでいいのだ。つまり、ドロップイン・リモートワーカーが多くの仕事を自動化できるようになる頃には、中間モデルはまだ完全に活用され統合されていないため、生み出される経済価値のジャンプはやや不連続になる可能性がある。
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_gpt2togpt4.png
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_2023to2027.png
数字をまとめると、GPT-4に続く4年間で、2027年末までにGPT-2からGPT-4規模のジャンプが再び起こると（おおよそ）予想される。
GPT-4のトレーニングに3ヶ月かかったとしよう。2027年には、一流のAIラボはGPT-4レベルのモデルを1分で訓練できるようになるだろう。OOMの効果的なコンピュート・スケールアップは劇的なものになるだろう。
それは我々をどこへ連れて行くのだろうか？
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_counting_the_ooms.png
GPT-2からGPT-4までで、私たちは～未就学児から～賢い高校生になった。とんでもないジャンプだ。もしこれが、私たちが今一度カバーする知能の差だとしたら、それは私たちをどこに連れて行くのだろうか？私たちは、それが私たちをとてもとても遠くに連れていっても驚かないはずだ。おそらく、ある分野の博士や最高の専門家を凌駕するようなモデルまで到達するだろう。
(このことを考える1つの良い方法は、現在のAIの進歩の傾向は、子供の成長のおよそ3倍のペースで進んでいるということだ。あなたの3倍速の子どもは高校を卒業したばかりだが、いつの間にかあなたの仕事を奪っていくだろう！)
続き I.GPT-4からAGIへ：OOMを数える(10) https://anond.hatelabo.jp/20240605211837
最後に、定量化するのが最も難しいが、それに劣らず重要な改善のカテゴリーを紹介しよう。
難しい数学の問題を解くように言われたとき、頭に浮かんだことを即座に答えなければならないとしたらどうだろう。最も単純な問題を除いて、苦労するのは明らかだろう。しかしつい最近まで、LLMにはそうやって数学の問題を解かせていた。その代わり、私たちのほとんどはスクラッチパッドで段階的に問題を解いていき、その方法ではるかに難しい問題を解くことができる。「思考の連鎖」プロンプトは、LLMのそれを解き放った。生の能力は優れているにもかかわらず、明らかな足かせがあるため、LLMは数学が苦手なのだ。
私たちはここ数年で、モデルの「足かせを外す」ことに大きな進歩を遂げました。これは単に優れたベースモデルをトレーニングするだけでなく、アルゴリズムの改良によってモデルの能力を引き出すものです：
足場作り。CoT++について考えてみよう：ただ問題を解くようモデルに求めるのではなく、あるモデルに攻撃計画を立てさせ、別のモデルに可能性のある解決策をたくさん提案させ、別のモデルにそれを批評させる、といった具合だ。例えば、HumanEval（コーディング問題）では、単純な足場作りによってGPT-3.5が足場なしのGPT-4を上回った。SWE-Bench（実世界のソフトウェアエンジニアリングのタスクを解くベンチマーク）では、GPT-4は~2%しか正しく解くことができませんが、Devinのエージェントの足場があれば14-23%に跳ね上がります。(後ほど詳しく説明するが、エージェントのアンロックはまだ初期段階に過ぎない。)
ツール：もし人間が電卓やコンピュータを使うことを許されなかったらと想像してみてほしい。まだ始まったばかりだが、ChatGPTはウェブブラウザを使ったり、コードを実行したりできるようになった。
エポックAIによる研究によると足場作りやツールの使用など、これらのテクニックのいくつかを調査したところ、このようなテクニックは多くのベンチマークで通常5～30倍の効果的な計算量の向上をもたらすことがわかった。METR（モデルを評価する組織）も同様に、同じGPT-4ベースモデルからのアンホブリングによって、エージェントタスクのセットで非常に大きなパフォーマンスの向上を発見しました。
https://situational-awareness.ai/wp-content/uploads/2024/06/metr_gains_over_time-1024x597.png
これらをコンピュートとアルゴリズムの効率で統一した実効的なコンピュート規模に当てはめることは困難ですが、少なくともコンピュート規模の拡大やアルゴリズムの効率とほぼ同規模の大きな進歩であることは明らかです。(また、アルゴリズムの進歩が中心的な役割を担っていることも浮き彫りになっています。0.5OOM/年の計算効率は、すでに重要なものではありますが、ストーリーの一部に過ぎません。）
「アンホブリング」こそが、実際にこれらのモデルが有用になることを可能にしたのであり、今日多くの商業アプリケーションの足かせとなっているものの多くは、この種のさらなる「アンホブリング」の必要性であると私は主張したい。実際、今日のモデルはまだ信じられないほど足かせが多い！例えば
ここでの可能性は非常に大きく、私たちはここで急速に低空飛行の果実を摘んでいる。これは非常に重要です。"GPT-6 ChatGPT "を想像するだけでは完全に間違っています。 GPT-6＋RLHFと比べれば、進歩は段違いだ。2027年までには、チャットボットというより、エージェントのような、同僚のようなものが登場するだろう。
続き I.GPT-4からAGIへ：OOMを数える(8) https://anond.hatelabo.jp/20240605210232
コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。
アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。
https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png
これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。
この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。
一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。
アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。
アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.
これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。
残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。
https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png
Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。
より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：
最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。
公開されている情報を総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png
GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。
これらをまとめると、2027年末までには（GPT-4と比較して）1～3OOMのアルゴリズム効率向上が期待できることになります。
続き I.GPT-4からAGIへ：OOMを数える(6) https://anond.hatelabo.jp/20240605205754
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは〜未就学児から〜賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生規模の質的ジャンプが起こると予想される。
見て。モデルたちはただ学びたいだけなんだ。あなたはこれを理解しなければならない。モデルたちは、ただ学びたいだけなんだ。
GPT-4の能力は、多くの人に衝撃を与えた。コードやエッセイを書くことができ、難しい数学の問題を推論し、大学の試験を突破することができるAIシステムである。数年前までは、これらは難攻不落の壁だと思っていた。
しかしGPT-4は、ディープラーニングにおける10年間の猛烈な進歩の延長線上にあった。その10年前、モデルは犬猫の単純な画像を識別するのがやっとだった。4年前、GPT-2は半可通な文章をつなぎ合わせるのがやっとだった。今、私たちは思いつく限りのベンチマークを急速に飽和させつつある。しかし、この劇的な進歩は、ディープラーニングのスケールアップにおける一貫した傾向の結果に過ぎない。
ずっと以前から、このことを見抜いていた人々がいた。彼らは嘲笑されたが、彼らがしたのはトレンドラインを信じることだけだった。トレンドラインは強烈で、彼らは正しかった。モデルはただ学びたいだけなのだ。
私は次のように主張する。2027年までには、モデルがAIの研究者やエンジニアの仕事をこなせるようになるだろう、と。SFを信じる必要はなく、グラフ上の直線を信じるだけでいいのだ。
https://situational-awareness.ai/wp-content/uploads/2024/06/base_scaleup-1024x790.png
過去と将来の有効計算量（物理計算量とアルゴリズム効率の両方）の大まかな見積もり。モデルをスケールアップすればするほど、モデルは一貫して賢くなり、"OOMを数える "ことによって、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができます。(このグラフはベースモデルのスケールアップのみを示している。）
この記事で取り上げた一般的な推定に基づく、効果的な計算（物理的な計算とアルゴリズムの効率の両方）の過去と将来のスケールアップの概算。モデルをスケールアップするにつれ、モデルは一貫して賢くなり、「OOMを数える」ことで、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができる。(このグラフはベースモデルのスケールアップのみを示している。"unobblings "は描かれていない)。
この作品では、単純に「OOMを数える」(OOM = order of magnitude、10x = 1 order of magnitude)ことにします。1)計算、2)アルゴリズム効率(「効果的な計算」の成長として考えることができるアルゴリズムの進歩)、3)「アンホブリング」(モデルがデフォルトで足かせとなっている明らかな方法を修正し、潜在的な能力を引き出し、ツールを与えることで、有用性を段階的に変化させること)の傾向を見ます。GPT-4以前の4年間と、GPT-4後の2027年末までの4年間に期待されるそれぞれの成長を追跡する。ディープラーニングが効率的な計算のすべてのOOMで一貫して向上していることを考えると、将来の進歩を予測するためにこれを使うことができる。
世間では、GPT-4のリリースから1年間、次世代モデルがオーブンに入ったままであったため、ディープラーニングは停滞し、壁にぶつかっていると宣言する人もいた。しかし、OOMをカウントすることで、私たちは実際に何を期待すべきかを垣間見ることができる。
結果は非常にシンプルだ。GPT-2からGPT-4への移行は、時々まとまりのある文章を並べることに感動的だったモデルから、高校入試のエースになるモデルへの移行であり、一度だけの進歩ではない。私たちはOOMsを極めて急速に克服しており、その数値は、4年以上かけてGPT-2からGPT-4への質的なジャンプをさらに～100,000倍の効果的なコンピュート・スケールアップが期待できることを示している。さらに、決定的なことは、それは単にチャットボットの改良を意味しないということだ。"unhobbling "利益に関する多くの明らかな低空飛行の果実を選ぶことで、チャットボットからエージェントへ、ツールからドロップイン・リモートワーカーの代替のようなものへと我々を導いてくれるはずだ。
推論は単純だが、その意味するところは注目に値する。このような別のジャンプは、私たちをAGIに、博士号や同僚として私たちのそばで働くことができる専門家と同じくらい賢いモデルに連れて行く可能性が非常に高い。おそらく最も重要なことは、これらのAIシステムがAI研究そのものを自動化することができれば、次回のテーマである強烈なフィードバック・ループが動き出すということである。
現在でも、このようなことを計算に入れている人はほとんどいない。しかし、AIに関する状況認識は、一歩下がってトレンドを見てみれば、実はそれほど難しいことではない。AIの能力に驚き続けるなら、OOMを数え始めればいい。
続き I.GPT-4からAGIへ：OOMを数える (2) https://anond.hatelabo.jp/20240605204240
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
プリファードインフラストラクチャーとはてな、戦略的提携に合意
第一弾としてはてなブックマークの新機能を共同開発し、本日リリース
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
株式会社プリファードインフラストラクチャー（代表取締役：西川 徹／東京都
文京区）と株式会社はてな（代表取締役：近藤淳也／京都市中京区）は、7月15日
付にて、両社の長期的な発展を目的に戦略的提携をおこなうことで、基本合意
いたしました。
今回の戦略的提携により両社は、はてなの運営するウェブサイト「はてな」に
おいて、プリファードインフラストラクチャーが保有する高度な情報処理技術
と、はてなが保有する高いインターネットサービス開発能力を組み合わせ、
ユーザーにとって価値が高く、新規性のあるサービス開発をおこなうことで、
両社のさらなる発展とインターネット分野における成長を目指します。
本提携の具体的な成果として、本日、ソーシャルブックマークサービス
「はてなブックマーク」にて「関連エントリー表示機能」をリリースしました。
本機能については、本年6月に両社が初めて実施した共同開発合宿によって生ま
本機能は、プリファードインフラストラクチャーが保有する類似情報抽出エン
ジンを元にはてなとの共同開発により、製作された類似記事抽出機能です。
新機能の大きな特徴として、はてなブックマークのある記事におけるエントリ
ーページを閲覧すると、「そのエントリーに関連する他のエントリー」が表示
され、ブックマークされた該当記事 (エントリー) に関連する他のエントリー
例えば、タイムリーに盛り上がっている議論ブログの関連エントリーとして、
同様の議論や議論のサマリなどが一覧で見ることができる、あるいはコンピュー
タについて書かれた技術的エントリーからは、類似する他のテクニックを
発見できるといった、利用者がより多くの価値ある情報に出会える機会をも
両社では現在、さらに新規性の高いシステムの開発にも取り組んでおり、今回
リリースした機能にとどまらず、今後も継続的に共同開発をおこない、ユーザ
ーにとって価値の高い新機能・新サービスを創出していく予定です。
https://web.archive.org/web/20080720142725/http://preferred.jp/index.html
