「アーキテクチャ」を含む日記 RSS

はてなキーワード: アーキテクチャとは

2025-03-04

なんか海外の有名技術本、コンサルが書いたものが多い

達人プログラマーとかクリーンアーキテクチャとか

大体、実務バリバリやってる奴は本を書く暇なんてねぇんだよな

Andy Huntなんて、Sci-Fiも書いてるし、なんかプログラマーじゃなくてライターなんだよな

2025-02-26

ユーザー行動に基づくアイテム推薦システム圏論的定式化と実装戦略

以下の問題を徹底的に抽象数学を用いて定式化しなさい。また、具体的実装についても定式化しなさい。ただし、文献はarxiv等の信頼できる情報源のみを利用しなさい。

AI回答

本報告では、ユーザー集合Uとアイテム集合Iからなる推薦システムを、圏論行列代数統合的枠組みで再構築する。特にarXiv論文[2][7]で提案されたSheaf4Recアーキテクチャと、古典的マトリックス分解手法[3][8]を統合した新しい定式化を提案する。実装戦略としてApache Spark[4]を活用した分散処理を採用し、理論保証計算効率の両立を実現する。

圏論的定式化

1. 推薦システムの圏構造

圏RecSysを次のように定義する:

ユーザーu∈Uの行動履歴f(u)⊆Iは、圏論データモデル[7]において層(sheaf)構造表現される。具体的には:

2. スコア関数の層的表現

スコア関数g_j:2^I×I→ℝ^mは、層の断面(section)として定式化される:

g_j = \bigoplus_{i=1}^m \mathcal{F}_i \otimes \mathcal{G}_j

ここで$\mathcal{F}_i$はアイテムiの特徴層、$\mathcal{G}_j$はスコアタイプjの重み層[2]。

定理1(層的スコアの単調性):

任意のS⊆T⊆Iに対して、層的接続写像δ:F(S)→F(T)が存在し、次を満たす:

\forall j, \|g_j(S) - δ(g_j(T))\| ≤ L_j \cdot d_H(S,T)

ここでL_jはリプシッツ定数、d_Hはハミング距離[7]。

行列分解に基づく実装戦略

1. 分散マトリックス分解

ユーザー-アイテム行列R∈ℝ^{|U|×m}を以下のように分解[3]:

R ≈ UΣV^T \quad (U∈ℝ^{|U|×r}, Σ∈ℝ^{r×r}, V∈ℝ^{m×r})

Apache Spark[4]を活用した分散計算フレームワーク

from pyspark.mllib.recommendation import ALS

model = ALS.trainImplicit(
    ratings=interactions,
    rank=100,
    iterations=10,
    lambda_=0.01,
    blocks=200  # 分散処理用ブロック数
)
2. スコア関数の具体例

1. 協調フィルタリングスコア[3]:

   g_1(u,i) = U_u \cdot V_i^T

2. コンテキスト統合スコア[7]:

   g_2(u,i) = \text{SheafConv}(F(u), F(i); \Theta)

3. 時間減衰スコア[8]:

   g_3(u,i) = \sum_{t∈T_{ui}} e^{-λ(t-t_0)}
3. スコア結合の代数構造

結合関数h:ℝ^m×n→ℝ^mを次のモノイド構造定義

h(Y)_i = \bigoplus_{j=1}^n w_{ij} \otimes y_{ij}

ここで⊕はmax-pooling、⊗はアダマール積[2]。重み行列W=(w_{ij})は以下の最適化問題で決定:

\min_W \sum_{u∈U} \|R(u) - h(G(u))\|_F^2 + λ\|W\|_*

効率的な分散処理

1. Sparkベース実装アーキテクチャ[4]
val interactions = spark.read.parquet("hdfs://interactions")
val model = new ALS()
  .setRank(100)
  .setBlocks(200)
  .run(interactions)

val scores = model.userFeatures
  .join(itemFeatures)
  .map { case (u, (v_u, v_i)) => 
    (u, dotProduct(v_u, v_i)) 
  }
2. 計算量解析
手法時間計算空間計算
集中処理[3] O(m^3) O(m^2)
分散処理[4] O(m^2/p) O(m√p)
Sheaf4Rec[7] O(m log m) O(m)

ここでpは並列度、mはアイテム数[4][7]。

理論保証

1. 収束定理

定理2(行列分解の収束性):

ブロックSVDアルゴリズム[3]は、任意のε>0に対してO(log(1/ε))反復でε近似解を達成する。

証明の概略:

\|R - U^{(k)}Σ^{(k)}V^{(k)T}\|_F^2 ≤ (1 - 1/\text{cond}(R))^k \|R\|_F^2

ここでcond(R)は行列の条件数[3]。

2. 安定性解析

提案手法は以下のリプシッツ安定性を満たす:

\|h(Y) - h(Y')\| ≤ \sum_{j=1}^n L_j \|W_j\| \cdot \|y_j - y_j'\|

ここでL_jは各スコア関数のリプシッツ定数[7]。

結論

論文では、圏論構造分散行列分解を統合した新しい推薦システムフレームワーク提案した。Sheaf4Rec[7]の層構造Spark[4]の分散処理を組み合わせることで、精度と効率の両立を実現。今後の課題として、動的層構造適応更新量子化による計算効率改善が挙げられる。

Citations:

[1] https://arxiv.org/html/2407.13699v1

[2] https://arxiv.org/html/2304.09097v3

[3] https://www.cs.toronto.edu/~mvolkovs/sigir2015_svd.pdf

[4] https://ics.uci.edu/~cs237/projects2020/4_reports.pdf

[5] https://arxiv.org/abs/2502.10050

[6] https://arxiv.org/pdf/2109.08794.pdf

[7] https://arxiv.org/abs/2304.09097

[8] https://dspace.mit.edu/bitstream/handle/1721.1/99785/927438195-MIT.pdf?sequence=1

2025-02-23

大規模言語モデル訓練における速度・精度革新手法の体系的時系列分析

Transformerアーキテクチャを基盤とする大規模言語モデル(LLM)の訓練効率化に関する主要技術革新を、時系列的に整理し体系化する。本分析arXivを中心とした学術論文に基づき、実証研究成果に焦点を当てる。

初期最適化手法確立2018-2020年

動的バッチサイズ調整

Popelら(2018)のTransformerモデル向け訓練手法分析[8]では、バッチサイズ学習率の動的調整が収束速度向上に有効であることを実証。最大文長制約を設けることでメモリ使用量を最適化し、8GPU環境で1.4倍の訓練速度向上を達成した。特に学習率のウォームアップ戦略が勾配不安定性を低減し、初期収束を促進する効果確認されている[8]。

混合精度訓練の導入

Zhuangら(2023)の調査[1]によれば、自動混合精度(AMP)訓練はFP16とFP32のハイブリッド運用により、メモリ消費量50%削減しつつ、DeiT-Bモデルの訓練速度を2倍改善。勾配スケーリング機構が数値的不安定性を緩和し、精度劣化なしに計算効率を向上させる[1]。

効率アルゴリズム多様化2021-2023年

Lion最適化手法

Zhuangらの分析[1]で言及されるLion最適化は、AdamWと比較してメモリ効率が30%改善され、収束速度が1.5倍高速化運動量推定と重み減衰の組み合わせが、Transformerの大規模疎行列演算適応し、ImageNet分類タスクTop-1精度1.2%向上を記録[1]。

シャープネス対応最小化(SAM)

損失関数の平坦な最小値を探索するSAM手法[1]は、Transformer訓練における汎化性能を15%改善。ただし二段階最適化必要なため訓練時間が1.8倍増加する課題を抱える。後続研究では確率的重み摂動を導入し、計算オーバーヘッドを30%削減[1]。

パラメータ効率型微調整の台頭(2023-2024年

ランク適応(LoRA)

Shahidら(2024)の総説[3]で解説されるLoRAは、重み更新行列を低ランク分解することで微調整パラメータを90%削減。GPT-3 175Bモデルで従来手法と同等の性能を維持しつつ、GPUメモリ使用量を65%削減[3]。

動的ドロップアウト

動的ドロップアウト手法[4]は検証損失に基づき正則化強度を調整、Shakespeare_charデータセットで収束速度を40%改善指数減衰スケジュールが最適で、推論時のメモリ効率を25%向上させた[4]。

分散知能活用の進展(2024年

SALT訓練フレームワーク

小規模言語モデル(SLM)を活用したSALT手法[2]は、二段階訓練アプローチによりLLM事前学習時間を30%短縮。知識蒸留段階ではSLMの予測分布転移し、難易度適応データ選択学習効率最適化[2]。

エキスパート混合(MoE統合

MoEアーキテクチャ[3]は専門家ネットワークの動的選択により、同パラメータ数で推論速度を2.3倍向上。トークンレベルルーティング計算負荷を分散し、GLUEベンチマークで精度3.1%改善[3]。

最適化理論の深化(2024-2025年

近接政策最適化(PPO)

強化学習統合したPPO手法[3]は人間フィードバック効率的に活用倫理的アライメントタスクで従来比25%の精度向上。報酬モデルとの相互作用学習政策勾配の安定性を確保[3]。

アルゴリズム蒸留

EVOLvEフレームワーク[7]は探索的バンディット問題に対して最適アルゴリズム知識をLLMに転移、合成データによる事前学習で探索効率を60%改善モデルサイズ依存性を低減し、7Bパラメータモデルが70Bモデルを性能で凌駕[7]。

技術進化総合考察

速度改善要因の体系化

1. 計算量削減:MoEの疎活性化計算コストO(1))[3]

2. メモリ階層最適化AMPと動的ドロップアウトの併用[1][4]

3. 分散処理効率化:非同期勾配更新パイプライン並列化[8]

精度向上メカニズム

1. 損失地最適化:SAMによる平坦最小値探索[1]

2. 知識転移効率化:SALTの二段階蒸留戦略[2]

3. 動的適応機構:PPOの政策最適化MoE専門家選択[3][7]

今後の課題展望

技術課題

1. カタストロフィックフォーミング:継続学習における破滅忘却問題[3]

2. 計算-精度トレードオフ量子化訓練の精度劣化メカニズム[1]

3. 倫理的アライメント:自己最適化システム制御可能性[3]

期待される発展

1. ニューロモーフィック統合:脳神経機構模倣した効率化[3]

2. マルチモーダル拡張画像-言語連成訓練の効率化[3]

3. 物理法則統合エネルギー保存則に基づく最適化[4]

学術論文に基づく本分析を通じ、LLM訓練技術が単なる計算資源の拡大からアルゴリズム革新へとパラダイムシフトしていることが明らかとなった。今後の進展により、エネルギー効率倫理的妥当性を両立する次世代訓練手法の登場が期待される。

Citations:

[1] ttps://arxiv.org/pdf/2302.01107.pdf

[2] ttps://arxiv.org/html/2410.18779v1

[3] ttps://arxiv.org/abs/2408.13296

[4] ttps://arxiv.org/abs/2411.03236

[5] ttps://arxiv.org/pdf/2308.04950.pdf

[6] ttp://arxiv.org/pdf/2307.06435.pdf

[7] ttps://arxiv.org/abs/2410.06238

[8] ttps://arxiv.org/abs/1804.00247

[9] ttps://arxiv.org/pdf/2010.07003.pdf

[10] ttps://arxiv.org/html/2410.16392v1

[11] ttps://www.ijcai.org/proceedings/2023/0764.pdf

[12] ttps://arxiv.org/abs/2306.10891

[13] ttps://arxiv.org/html/2410.16682v1

[14] ttps://arxiv.org/abs/2502.00571

[15] ttps://arxiv.org/abs/2405.14277

[16] ttps://arxiv.org/abs/2310.05204

[17] ttps://arxiv.org/html/2308.09372v2

[18] ttps://arxiv.org/abs/2305.14239

[19] ttps://arxiv.org/abs/2407.18003

[20] ttps://arxiv.org/pdf/2309.06054.pdf

[21] ttps://arxiv.org/html/2401.02038v1

[22] ttps://arxiv.org/abs/2409.04833

[23] ttps://arxiv.org/html/2308.09372v3

[24] ttps://arxiv.org/abs/2410.13116

[25] ttps://arxiv.org/abs/2502.01612

[26] ttps://arxiv.org/abs/2302.01107

[27] ttps://arxiv.org/html/2302.07730v4

[28] ttps://arxiv.org/abs/2410.06940

[29] ttps://www.axelera.ai/blog/multilayer-perceptrons-mlp-in-computer-vision

2025-02-20

anond:20250220161335

中堅JTC SIer的にはこんな感じ

2025-02-17

本当会話にならねーな♾️

スイカと桜が同じ季節にあって、米俵を土嚢に使って、四角い畳で武将正座ってる、派手な鎧で街中歩く世界線から強弁かよ

別の世界線の人に説明してもしゃーないが、史料は割と今どきはオンラインでも見れたりするのは、覚えておくと良いよ

 

 

例えばYASUKE

耶蘇会日本年報 第1輯

https://dl.ndl.go.jp/pid/1041119/1/164

 

 

群馬県文書館レファレンス事例紹介コーナーによると『くろほう』について下記の回答

12 群馬県文書館所蔵の古文書に、黒人と思われる「くろほう」という記述があるとききました。それは事実でしょうか。

 

 栗間家文書(P00101)のNo1「年未詳加藤清正書状」(下川左衛門ほか宛)には、豊臣秀吉朝鮮出兵に関連する記述の中で「くろほう」という言葉が出てきます。そして2021年3月30日NHK BS4Kで放送された「Black Samurai 信長に仕えたアフリカン侍・弥助」の中で、日本大学准教授ロックリートーマス氏がこの文書に出てくる「くろほう」こそ、織田信長に仕えた黒人武将弥助の後身ではないかと、述べられています。まず文書館内では、この「くろほう」をこれまで全く黒人として認識しておらず、トーマス氏のご指摘に驚いています。実は、この「くろほう」が弥助かどうかはともかく、黒人推定する見解は以前からありました(中島楽章氏「16世紀九州末ー東南アジア貿易」『史学雑誌』118-8号ほか)。 ただし現時点では、この文書の1カ所にしか出てこないため、断定は難しいと思われます。例えば、『源氏物語』にも「くろほう」という言葉が出てきますが、これは「黒芳」(練り香)の意味で、日本古典で頻出しているようです。また、当館文書を読むと、人間ではなく、物を指す記述と見た方が自然ではないか、という意見も係内で出ています。以上より、現時点では「くろほう」を直ちに黒人即断するのは難しいのではないか、というのが当館古文書係の見解です。

https://www.pref.gunma.jp/site/monjyokan/130144.html

 

  

どさくさに紛れて黒人奴隷流行ったのを日本押し付けたいイギリス人日本観光局特別顧問大学教授)がいましたけど
日本人が奴隷として連れてかれた記述ならすぐ確認できるんだよね

そもそも義務教育で習ったろ?

 

キリスト教南蛮)に関する問題

 

このような状況を憂慮し、秀吉キリスト教宣教師追放を命じた。高山右近も、キリスト教信仰のために領地没収された

追放されるキリスト教宣教師たちへの配慮として、帰国費用として米1万俵が与えられた

九州御国分之次第

https://khirin-ld.rekihaku.ac.jp/rdf/nmjh_kaken_medInterNationalExcange/E14585

 

 

 

⭐️神社破壊御神体破壊ほか人種差別シュミレーターツッコミが止まらないが、文字読めない異世界増田と会話になる気がしないので⭐️

 

こっちなら付き合うぞ 

ローカルテキスト画像生成のモデル動かしてみようをそのうち書こうと思うけど、Windowsアーキテクチャ簡単説明欲しい?

コア分離あたり。ほかにも欲しいのがあれば書いとくけど

というか、UbuntuUbuntu 騒いでる子がいるが、そもそもPCにWin11/Win10入ってるか?

WindowsDocker DesktopバックエンドWSL2 Ubuntu の予定。なお、YouTube に構築動画無限にあるぞ)

anond:20250217171317

やっぱ会話にならんよね♾️

ゲームメディアどころか一般ニュースメディアでも史実と言って回っている例

Assassin's Creed director: The right time to take series to Japan | BBC

https://www.bbc.com/news/articles/c163jexl7rxo

 

Shadow’s trailer also generated backlash from some gamers, who criticised the choice of Yasuke as a main character over a native Japanese protagonist.

Opponents have accused those critics of being racist, and have pointed out that Yasuke is based on a real-life person.

Charles, speaking to Newsbeat before the trailer dropped, says the developers “put a lot of emphasis on authenticity and making sure we depict Japan and the culture right”.

“So when we started the project, we had a historian with us from day one,” he says.

He says the team also consulted weapons experts and travelled to Japan to get a feel for the landscape and locations in the game.

 

シャドウズのトレーラーは、一部のゲーマーからの反発も生みました。彼らは、日本人主人公ではなく弥助を主人公として選んだことを批判しました。

これに対して、批判者たちを人種差別主義者だと非難する声も上がっており、弥助が実在人物に基づいていることが指摘されています

チャールズは、トレーラー公開前にNewsbeatBBCニュース番組)との対話で、開発者たちが「日本とその文化を正しく描写することに重点を置き、真正性を重視した」と述べています

プロジェクトを始めた時から初日から歴史家と一緒に取り組んでいました」と彼は言います

また、チームは武器専門家にも相談し、日本旅行してゲームに登場する風景場所雰囲気を掴んだとのことです。

African samurai: The enduring legacy of a black warrior in feudal JapanCNN

When feudal Japan’s most powerful warlord Nobunaga Oda met Yasuke, a black slave-turned-retainer, in 1581, he believed the man was a god.

Oda had never seen an African before. And like the locals in Japan’s then-capital of Kyoto, he was awed by Yasuke’s height, build and skin tone, according to Thomas Lockley, the author of “African Samurai: The True Story of Yasuke, a Legendary Black Warrior in Feudal Japan.”

“When Yasuke got to Kyoto (with Jesuit missionaries), there was a massive riot. People wanted to see him and be in his presence,” says Lockley, who spent nine years researching and writing the book, which was published last month.

Oda believed Yasuke to be either a guardian demon or “Daikokuten,” a god of prosperity usually represented by black statues in temples. He tried to rub the pigment from Yasuke’s skin, believing it was black ink. Once convinced Yasuke was real, he immediately threw a feast in his honor, says Lockley.

 

1581年、戦国時代日本の最も強力な戦国大名である織田信長が、奴隷から家臣となった黒人ヤスケに出会った時、信長ヤスケを神だと信じました。

アフリカン・サムライ戦国時代日本伝説黒人武士ヤスケの真実物語」の著者トーマスロックリーによると、信長はそれまでアフリカ人を見たことがありませんでした。そして、当時の都であった京都地元民と同様に、ヤスケの身長、体格、肌の色に畏敬の念を抱いたそうです。

ヤスケが(イエズス会宣教師とともに)京都に到着した時、大規模な騒動が起きました。人々はヤスケを見たがり、彼の存在を身近に感じたがりました」と、9年の歳月をかけて研究執筆した先月出版されたこの本について、ロックリーは語ります

信長ヤスケを守護の鬼か、通常寺院で黒い像で表される繁栄の神「大黒天」のどちらかだと信じていました。信長ヤスケの肌の色素を擦り取ろうとし、それが黒インクだと考えていました。ヤスケが本物だと確信すると、すぐに彼の名誉を称える宴を開いたとロックリーは述べています

 

https://edition.cnn.com/2019/05/19/asia/black-samurai-yasuke-africa-japan-intl/index.html

 

 

ゲームメディアプラットフォームの紹介文だともっとひどい

最近も IGN Japan 使って煽り散らかし https://youtu.be/keiDRORg9hc

ここまでやるなら、ゲーム規制不要!!あらゆる規制に反対する!!と表明したらよかったのでは?って思うが、

なぜか日本版だけ日本人の首ホームラン出来るのが禁止されているの突っ込まないんですよね。Roninゴア表現あるのになぜでしょうね?

あと日本人非武装市民ペナルティ無し攻撃できるけど白人キャラ攻撃できないこともツッコミなし。NPCだろうが攻撃できるゲームはいくらでもあるんですけど

中途半端なところで自由度の追求を妥協するのですね

It was surprisingly gory, like the decapitations, you could get coated in blood. How vital is that to the assassin’s fantasy?
斬首シーンなどでは、予想外に残虐で、血まみれになることもありますね。これはアサシンファンタジーにとってどれほど重要なのでしょうか?)

 

I think it’s not an assassin thing, it’s a Japan thing in our case. So looking at death was a day-to-day occurrence in that period, and the way most people died in Japan during that time is clean decapitations.

So we didn’t want to shy away from it, although you can turn off the violence if you want. There’s options for it. You can turn off the blood, you can turn off the dismemberment and stuff. So it’s more trying to be faithful to the war aspect of Japan at that period. Death was a common thing and decapitation was not a strange sight in Japan.

 

私たち場合、これはアサシンに関することというよりも、日本に関することだと考えています。当時の日本では、死を目にすることは日常的なことでした。そしてその時代日本で多くの人々が死んでいった方法は、きれいな斬首でした。

ですので、私たちはそれを避けようとはしませんでした。ただし、望めば暴力表現オフにすることもできます。そのためのオプションがあります。血の表現オフにしたり、切断などの表現オフにしたりすることができます。これは、むしろその時代日本戦争の側面に忠実であろうとする試みなのです。死は日常的なことであり、斬首日本では珍しい光景ではありませんでした。

https://videogames.si.com/features/assassins-creed-shadows-interview

 

 

 

⭐️神社破壊御神体破壊ほか人種差別シュミレーターツッコミが止まらないが、文字読めない増田と会話になる気がしないので⭐️

 

こっちなら付き合うぞ 

ローカルテキスト画像生成のモデル動かしてみようをそのうち書こうと思うけど、Windowsアーキテクチャ簡単説明欲しい?

コア分離あたり。ほかにも欲しいのがあれば書いとくけど

というか、UbuntuUbuntu 騒いでる子がいるが、そもそもPCにWin11/Win10入ってるか?

WindowsDocker DesktopバックエンドWSL2 Ubuntu の予定。なお、YouTube に構築動画無限にあるぞ)

anond:20250217161449 anond:20250217161502

2人目のエンジニアとしてプロジェクトJOIN したときにやること

はてぶで一年前にまとめてずっと下書きだった内容。これ名前出して書いたら揉めそうだと思ったのでずっと投稿してなかったが、増田で供養。


保身術メモ

バー燃え尽きるのは (略) 困っている人をうまく助けてやれないときに、燃え尽きるのである (p.264)

  • 具体的には、その人がいった内容だけをドキュメント化し、そのルールに従う
    • 難しい人であった場合は、平然とそのルールも破るので「以前こう聞きましたが、ドキュメント更新したいのでいつ、なぜそのようにしたのか」を聞き続ける
    • 相手はめんどくせーなという態度になるので、それを見逃さずに「私はそれがわからないので、教えてください」という態度を崩さな
    • 改善する場合もあるし、改善しない場合もある。改善しない場合は諦める

2025-02-15

anond:20250215115411

文字読めない子、妄想ベースに付き合いたくないだけです

こっちなら付き合うぞ

 

ローカルテキスト画像生成のモデル動かしてみようをそのうち書こうと思うけど、Windowsアーキテクチャ簡単説明欲しい?

コア分離あたり。ほかにも欲しいのがあれば書いとくけど

というか、UbuntuUbuntu 騒いでる子がいるが、そもそもPCにWin11/Win10入ってるか?

WindowsDocker DesktopバックエンドWSL2 Ubuntu の予定。なお、YouTube に構築動画無限にあるぞ)

anond:20250215104828

ローカルテキスト画像生成のモデル動かしてみようをそのうち書こうと思うけど、Windowsアーキテクチャ簡単説明欲しい?

コア分離あたり。ほかにも欲しいのがあれば書いとくけど

というか、UbuntuUbuntu 騒いでる子がいるが、そもそもPCにWin11/Win10入ってるか?

WindowsDocker DesktopバックエンドWSL2 Ubuntu の予定。なお、YouTube に構築動画無限にあるぞ)

anond:20250216015648

2025-02-14

AI生成記事

九州大学病院オブジェクト指向システム導入の記録

序章:革新的システムへの期待

1990年代半ば、九州大学病院(九大病院)は病院情報システムの全面刷新計画していた。従来の断片化したシステム統合し、最先端オブジェクト指向技術を全面採用した次世代システムに生まれ変わらせるという大胆な構想である

tumblr.com

。入札条件にも「純粋オブジェクト指向技術で実現すること」を掲げ、業界内でも前例の少ない大規模プロジェクトに挑むことになった​

tumblr.com

。この計画応札した日本IBMは、開発言語にSmalltalk採用し、社内外からオブジェクト指向開発の専門家を総動員する。日本IBM自身のチームに加え、Smalltalk豊富経験を持つ多数のシステムインテグレータ各社が協力企業として参画し、一時期は約200名もの技術者が開発に従事する巨大プロジェクトとなった​

tumblr.com

医療現場からは「21世紀を先取りするシステムになる」という期待の声が上がり、IBM側も「国内最高峰病院に最新技術を投入できる」と意気込んでいた。誰もが、この試みに大きな希望を抱いていたのである

1996年プロジェクト始動曖昧要件定義

プロジェクト1996年、本格的に動き始めた。九大病院情報システム担当者たちは、院内各部からシステムへの要望ヒアリングし、「新システムへの要望リスト」を作成して日本IBM提示した。しかし、その内容は具体性に欠けていたと言われる。「実現したい業務全体像がはっきりしていなかった」のだ。病院側は約1,400床を擁するマンモス病院ゆえ、部門ごとの意見をまとめ上げ全体方針を打ち出すことが難しく、提出された要件定義書は「中身はほとんどなかった」と関係者は振り返る。一方の日本IBMも、その不十分な要件定義を十分詰め直すことなく開発を進めようとし、この問題放置してしまった。プロジェクト序盤から、実は大きな不安の種が芽生えていたのである

それでも当初の計画は極めて野心的だった。フェーズごとに順次システムを稼働させる計画で、第1次カットオーバー最初の稼働開始)は1997年1月と定められていた​

tumblr.com

。限られた時間の中、日本IBMと協力各社の開発チームはオブジェクト指向の新手法に挑みつつ、多数のサブシステムを並行開発するという難事業に取り組み始めた。しか要件曖昧さは各所で影響を及ぼす。開発メンバーの一人は後に「実際にはオブジェクト指向入り口にさえたどり着けなかった」と語っており、肝心の新技術を活かす以前に基本事項の詰め直しに追われる状況だったという。

1997年初頭:見えてきた遅れとすれ違う思惑

年が明けて1997年になると、第1次稼働予定の目前になっても開発は難航していた。結局、日本IBM1996年10月末になって九大病院側に「当初予定の1997年1月にはシステム稼働が間に合わない」と突然伝えることになる。これは病院側にとって青天の霹靂であった。代替策として「一部機能範囲を絞れば1月稼働も可能」といった提案すら無く、一方的に延期が告げられたことに、病院担当者たちは強い不信感を抱いたという。プロジェクトマネージャー同士の密なコミュニケーションも欠如しており、延期決定前から両者の意思疎通は十分でなかったようだ。これが最初の綻びとなった。第1次稼働時期は当初計画より9カ月遅れ1997年10月へと大幅に後退する​

tumblr.com

この延期表明を境に、現場は混乱に陥る。病院側は日本IBMだけに任せておけないとの思いから、一部の協力会社と直接組んで独自プロトタイプ開発に乗り出すなど、プロジェクト体制は分裂気味になった。一方、日本IBM側の士気も下がり始める。ある協力会社メンバーは「これほど求心力のないプロジェクトも珍しい」と当時を振り返り、リーダーシップ不足だったIBM姿勢に驚いている。複数の外部企業(延べ10社以上)が関与する巨大プロジェクトでありながら、日本IBM1997年10月頃まで一貫して主導権を握れずにいた、と多くの関係者が指摘する。誰がハンドルを取っているのかわからないまま巨艦だけが突き進む――そんな不安定な状況であった。

事態を重く見た九大病院日本IBMは、1997年2月から6月にかけて要件定義のやり直しに着手する。一度作成した要件定義書を更地に戻し、業務フローも含めてゼロから整理し直す作業だ。しかしこのリカバリーにも時間を要し、プロジェクトの遅延はさらに広がっていった。「ようやく問題点に光を当て始めたかに見えたが、時すでに遅し。気づけば頭上に厚い雲が垂れ込めていた」と語る関係者もいる​

b.hatena.ne.jp

プロジェクトは先の見えないトンネルに入り込み、関係者の心にも次第に不安が募っていった。

1997年春:一筋の光明オブジェクト指向データベースの導入

混迷を極めるプロジェクトに光が差し込んだのは、1997年春のことである要件定義の立て直しと並行して、日本IBMシステム技術基盤を強化すべく重大な決断を下した。従来のリレーショナルDBではなく、米国GemStone Systems社のオブジェクト指向データベース(ODB)「GemStone」を採用する方針を固めたのだ​

tumblr.com

。GemStoneはSmalltalkとの相性が良いことで知られ、オブジェクト指向開発との親和性が高い製品である

tumblr.com

。この採用決定に伴い、GemStone社から複数名のコンサルタント来日プロジェクトに参加。停滞していた開発体制の再整備が行われた​

tumblr.com

経験豊富専門家の助言により設計も見直され、チームはようやく開発の目処を掴み始めたのである

tumblr.com

病院側もこの動きを歓迎した。長引く遅延に業を煮やしていたものの、最新のODB導入で性能や拡張性の課題解決されるならばと期待を寄せた。協力各社の技術者たちも「ようやくトンネルの先に光が見えた」と胸をなでおろした​

b.hatena.ne.jp

現場には久々に前向きな空気が漂う。遅れを取り戻すべく、再結集した開発チームはスパートをかけた。システム全体のアーキテクチャをGemStone前提に再設計し、失われた時間を埋めるため懸命な努力が続けられる。巨大プロジェクトは今、再び軌道に乗ろうとしていたかに見えた。

1997年夏:GemStone契約交渉の決裂、暗雲の再来

しかし、その光は長くは続かなかった。1997年7月初旬、プロジェクトに再び試練が訪れる。日本IBMとGemStone社との契約交渉が突如決裂し、参画していたGemStone社コンサルタント陣が全員帰国してしまったのだ。肝心のGemStone製品も利用不能となり、頼みの綱を断たれた開発チームは一瞬にして暗闇に放り込まれた。まさに「悪夢のような出来事」であった。

7月20日になって、日本IBMはようやく協力各社を集め緊急説明会を開いた。日本IBM側の説明によれば、「GemStoneとの交渉決裂は企業日本IBM)の根幹に関わる問題による」という。詳しい理由として、契約書の条項に**「システムユーザー等が何らかの理由でGemStone社を訴えた場合、メイン・コントラクタである日本IBMが全ての法的対応を負わねばならない」といった内容が盛り込まれており、日本IBMはこの重い責任リスクを受け入れられなかったのだという。さらに料金面でも折り合わず、3カ月間におよぶコンサルタント8名の派遣ソフトライセンス料などに数億円近い費用**を要求されたことも判明した。法的リスクコスト高騰――企業として譲れぬ一線を越える契約条件に、日本IBMは最終的に「ノー」を突きつけた形だ。だが、それは即ちプロジェクト生命線を断つことを意味していた。

この報に接した開発現場は騒然となった。GemStoneを中核に据えて進めてきたアーキテクチャ設計を一から練り直す必要が生じたためである。ある協力会社関係者は「この時点でプロジェクトの失敗を覚悟した」とまで語っている。大黒柱を失ったチームには動揺と失望が広がった。折しも夏本番を迎え、福岡の空は照りつける日差しに覆われていたが、プロジェクトには再び厚い雲が垂れ込め始めた。

1997年8~9月代替案への賭けと懸命の設計変更

GemStone脱落という非常事態に対し、日本IBMと九大病院必死リカバリーを図る。1997年8月上旬、急遽代替のODB製品としてフランスA.D.B社の「Matisse」を採用する決断が下された。Matisseは国内では知名度の低いODBだが、日本でも過去Smalltalkアプリケーションデータベース採用された実績があり、「何とか使えるめどは立つ」と判断されたのである

しか代替とはいえGemStoneとMatisseでは機能に大きな違いがあった。GemStoneで可能だったサーバ側でのSmalltalk処理実行がMatisseではできず、セキュリティ機能も貧弱だったため、開発チームは不足分を自前で作り込む必要に迫られた。この結果、システム全体の設計クライアント中心処理へ大幅に変更せざるを得なくなり、再び設計の手戻り作業が発生した。炎天下での再出発であるエンジニアたちは寝食を忘れ、懸命にコードを書き直した。

その甲斐あってか、1997年9月末の時点で第1次開発の主要部分を年内に実現できる見通しが立ったという。一度は暗転したプロジェクトにも、わずかながら光明が見えた。病院側も「何としても年内稼働を」という思いで支援を続ける。だが、このとき水面下では別の動きが進んでいたことを、現場の多くは知らなかった。

1997年10月:小さな後退、大きな決断

1997年10月9日、事態は最終局面を迎えた。この日開かれた会議で、日本IBMSmalltalkによる開発断念と、マイクロソフト社のVisual BasicVB)への全面的方針転換を突如宣言したのである晴天の霹靂とも言えるこの決断に、現場は凍りついた。幾多の苦難を乗り越えようやく目指してきた最先端技術での構築を諦め、当時広く普及していたVBという「オブジェクト指向ではない」開発ツールで作り直すというのだ。九大病院が当初求めた**「純粋オブジェクト指向」**という条件にVB合致するかは議論の分かれるところだが​

tumblr.com

病院ももはや背に腹は代えられない。最優先すべきはシステム稼働そのもの――この苦渋の転換を受け入れる以外になかった。

実はこの決断に至る伏線存在した。日本IBM1997年4月からかにVB採用可能性を九大病院に打診しており、さら8月からは段階的にSmalltalk担当エンジニア現場から引き上げ始めていたという。ある協力会社メンバーは「裏ではVBによる開発をすでに進めていたようだ」と振り返っている。つまりGemStone交渉決裂後、表向きはMatisseによる巻き返しを図る一方で、日本IBM本体は別動隊でVBシステムの構築に乗り出していた可能性が高い。振り返れば、日本IBMにはSmalltalk固執しない理由もあった。同社は翌98年2月長野冬季オリンピック向けシステムSmalltalkで構築しようとして失敗し、結局VBで作り直したという“前歴”もあったと伝えられる。アトランタ五輪1996年)では自社Smalltalkツール(VisualAge)を投入したものの、国内の大型案件では苦戦が続いた経緯があった*4。豊富人材がいるVBなら「最後人海戦術で何とかできる」という計算も働いたようだ。GemStoneとの契約不成立も、IBMにとっては結果的Smalltalkを断念する良い口実になったのではないか――協力会社メンバーの一人はそんな憶測さえ口にする。

方針転換の発表とほぼ同時に、Smalltalkで開発を担っていた協力会社の大部分はプロジェクトから撤退することになった​

tumblr.com

10月中旬には、多くの外部技術者が病院を後にしている。自ら招いた転換とはいえ日本IBMにとっても苦渋の決断であった。投入したリソース費用は莫大で、一からVBで開発し直すのは会社としても大きな後退だ。しかし背に腹は代えられない状況まで追い詰められていたことも事実であろう。IBM現場責任者は病院側に深々と頭を下げ、「必ずや残された方法で間に合わせます」と約束したという。九大病院担当者も沈痛な面持ちで頷き、「形はどうあれ、患者さんに影響を及ぼす前にシステムを動かしてほしい」と絞り出すように告げた。

以降、日本IBMは自社内のVB技術者や、自社が持つ病院向けオーダリングシステムパッケージ製品*5などを総動員してシステム構築を続行した​

tumblr.com

データベースも、当初IBM提案していながら見送っていた自社のリレーショナルDBDB2」を採用する公算が高まった​

tumblr.com

目標は「年度内(1998年3月まで)の第1次稼働」​

tumblr.com

。もはやオブジェクト指向の夢を追う余裕はない。現実的かつ確実に動く仕組みを、一刻も早く届ける――プロジェクトはその一点に向け再編成された。かつて200名近くいた開発陣は大幅に縮小され、構成メンバーも一変する。病院看護師スケジュール管理など一部のサブシステムは、撤退しなかった協力会社が細々とSmalltalk開発を続けていたが、その姿はもはや主流から外れた存在となっていった​

tumblr.com

。ある古参の協力技術者は去り際に「全力を出して戦う前に、白旗を上げてしまったという感じがする」と寂しげに語ったという。こうして九大病院プロジェクトの第1フェーズ――オブジェクト指向技術による野心的挑戦のフェーズは幕を下ろしたのであった。

1997年末:現場への波紋と社会的注目

VBへの方針転換後、九大病院現場には複雑な空気が流れていた。病院スタッフにとってシステム刷新は長らく待ち望んだ悲願だったが、その中身は当初聞いていた「最新技術結晶から一転して、従来型の技術で作られるものになってしまった。「結局、夢物語に終わったのか」という落胆の声も一部にはあった。しかし同時に、「多少古くてもいい、とにかく業務改善する仕組みを早く動かしてほしい」という切実な声も強まっていた。目指すゴールは変われど、一日でも早く新システムを稼働させ、慢性的業務負荷を軽減することが現場の切実な願いとなったのだ。プロジェクトチームは日夜作業を続け、簡易な操作研修なども始めながら、年明けまでの稼働に向け突き進んだ。

そんな中、1997年11月3日付の西日本新聞朝刊一面にこのプロジェクトに関する記事掲載される。タイトルは「九大病院システム未完 巨額費用批判」。内容は「九大病院システム未完成にもかかわらず日本IBMに月額4,250万円を支払い続けており、税金無駄遣いとの指摘が出ている」という衝撃的なものだった。同日、このニュース地元RKB毎日放送東京ではTBS)のテレビニュースでも報じられ、九大病院プロジェクト社会問題として一気に世間の注目を浴びることとなった。院内では「患者そっちのけで何をしているのか」といった批判も耳に入るようになり、大学本部所管官庁からの問い合わせも相次いだ。追い打ちをかけるように外部から視線が厳しくなる中、病院IBMはただひたすら開発を前に進めるしかなかった。

結末:プロジェクトの結末と残された教訓

1998年初頭、紆余曲折を経た九大病院の新システムは、当初の構想とは似ても似つかない形でようやく一部稼働に漕ぎつけた。日本IBMは多数のVBプログラマを投入して力技でシステムを完成させ、旧来システムの置き換えを順次進めていった。最終的に納入されたのはSmalltalkでもオブジェクト指向DBでもなく、Visual BasicリレーショナルDBによるシステムだった。かくして九大病院の「純粋オブジェクト指向システム」への挑戦は事実上の敗北に終わった。現場医師職員は、当初期待された華々しい先端技術恩恵を受けることはなかったが、ひとまず業務に支障のない情報システムが手に入ったことで安堵するより他なかった。プロジェクトは当初の理念を捨てて現実路線へ舵を切ることで、なんとか沈没だけは免れたと言えるだろう。

振り返れば、この失敗の背景には最新技術への挑戦ゆえの困難もあったが、それ以上に古典的とも言えるプロジェクト運営上のPermalink | 記事への反応(0) | 21:29

2025-02-13

anond:20250213065929

ちょっと愚痴書くけどさ、氷河期世代もこのパターンが多いと思うんだけど、

「◯歳、未経験ですが人並みの会社就職したいです」で人並み以下の会社就職すると大抵ブラック企業なんだよ…😟

から、「20歳、未経験なので人並み以下の会社就職しました」で精神病んで、退社しても若いからしばらくして回復するじゃん

で、「30歳、ちょっと経験あるけど、やっぱり人並み以下の会社しか雇ってくれないので、人並み以下の会社就職しました」でまた精神病んで退職して、また回復して、

40歳、もうちょっと経験あるけど、人並み以下の会社も雇ってくれなくなりました」で流石に再起不能なるみたいな…

から新卒カードになるんだよな

新卒だと「22歳、未経験ですが人並みの環境大手企業就職できました」ができる「可能性がある」

あくま可能性であって、つらい実験の授業落として留年したとか、病気留年したとか、就職氷河期だったとか、もうそこでつまづいたらはい上がれないよ…😟

色々あって、運よく人に自慢できる実績とか、自営業としてやってた開発経験とかあるけど、まあでも基本そんなの人事に鼻で笑われるんだよね

自営業のつらさみたいなのがおまえに分かるのか、売掛金トラブルとか、ただ会社に勤めてるだけのてめーに経験ねーだろ💢みたいに思っちゃったりするけど、

まあ、ニコニコ笑って面接何度も落とされたり、そのうち書類も通らなくなるし、

精神障害者身体障害者になったら、尚更スティグマが酷くなったようにしか思えない

会社Webページとか、NHKみたいなサイトとか、SDGsとか、多様性とか、文字が躍ってるだけで、結局は新卒、上位層、金銭的に環境的に恵まれてる人が牛耳ってるだけじゃねーの?

その上、トランプになった途端にGoogleみたいな企業まで、いや、これまで多様性とか重視してもコストかかるだけでつらかったんですよー、だから、やめるねwwwみたいなの何なの?

俺、養老孟司あんまりきじゃない、どちらかという嫌いなんだけど、YouTubeオススメに出てきたから、ちょっといくつか観てみたんだけど、

相変わらずこいつ頓珍漢なこと言ってんなー、そうじゃねーだろ、と思いつつ眺めてて、ひとつだけ俺も全面同意する話があったんだけど、

終戦ときに、教科書に墨を塗らされた世代なんだよな

これまでの国の教えてくれたこと、世間で正しいと言われてたことはすべて間違ってました、アメリカが持ってきた民主主義がこれからは正解になります

ってそういうことなわけだけど、養老氏が、世の中なんてこんなもんなんだって思った、って言ってて、あー、それは同じこと思うし、俺は終戦なんかなくても普段からそう思ってます

だって宮崎駿じゃないけど、朝令暮改上司に振り回されたりとか、

そこまでいかなくても、技術的な話でも、こういう設計が正しい、みたいなのがあっても、その次に何かそれを覆すのが現れるわけですよ

例えば、Ruby on Rails以前と以降ってあると思うんだよね

Rails以降、みんなRailsっぽい、なんかRailsの影響を受けた設計になってる

でも、それ以前に、似たような設計を思ついて現場提案しても、アホか、みたいな対応をされるわけですよ、上司とか同僚に

ところが、偏見だけど、どっちかというと日本人より英語圏とか、なんかイケてる宣伝とかカリスマ性とか、社会運動をどうやって起こすかみたいなもんで、

そうやって外部から受け入れられていくと、上司も同僚も、俺もそう思ってた、みたいな話になるわけですよ、アホかとバカかと

日本の内側から発言するとバカ扱いされて、

日本の外側から同じ発言外圧されると、俺も私もそう思ってたんだー、って言って付き従うみたいなの、日本に生きてて子供の頃から何度も見てきた光景ですよ

ほんともうね…

えーと、何の話をしてたんだけっけ…😟

追記

まあ、でも、とんでもなく💩なJavaコードを手伝わされたことがあるんだけど、誰もコアな部分を読まないで、みんな💩を再生産してる現場辟易したんだけど、

金にもならないし、評価にもならないし、上司ちょっと遠回しに言ったら心証悪くされたり、仕事しろよ(💩再生しろよ)みたいに言われたんだけど、

コアな部分読んでて、あれ?これって古いコードだけどRailsっぽいことしたかったのかな?と思ったんだよね

だけど、このコアな部分を誰が書いたか、もうとっくに退職した誰かなんじゃないか、みたいなところまで考えて、まあ、でもそれを言うとまた上司と揉めるんで黙ってたんだけど、

このJavaコードを書き始めたとき、初期のメンバーの誰か、多分、発言権があるとか偉い人がRailsっぽい設計をしたかったんじゃないか

とは思うんだけど、このオレオレJavaRailsやろうとしました、のコードが色々と酷くて、それが延々と悪影響を尾が引いてる感じになってるんだよね

思うに、Webフレームワークって、技術というより、どっちかというと設計思想だと思うんで、統一されて一貫した設計思想がないと崩れちゃう

内製オレオレフレームワークにしないで、外部のフレームワークを使うといいのは、フレームワーク自体メンテは当然外部がやってくれて、一貫した設計思想があって、ドキュメントもあってってとこだと思う

中途半端オレオレするぐらいなら、敢えて古いアーキテクチャというか設計思想を使った方がいいと思わされたんだよね

からRails以前にRailsっぽいことやりたい、オレオレフレームワークやりたい、って言うなら、ちゃんとしたコードになるまでフレームワークを突き詰めるべきだし、

ドキュメントちゃんと書くべきだけど、なぜかExcelで書かれた?クソみたいなドキュメントしかないんだもん…😟どうせいちゅうのよ…

まあ、しかも、上司なのか、同僚なのか知らんけど、物理的な嫌がらせをされるようになったんだよね、どの開発現場

物を隠されるとか、飲み物に変なものを混ぜられるとか、ニュースとかでもよく話題になったりするじゃない

あい嫌がらせとか、仕事妨害されるような行為をされ始めたんで、その犯人には好都合に思われただろうけど、怖いんでその会社辞めたんだよね

辞めた、って言ったら、親とか親族にギャーギャー言われたんだけど、そのへんの気味の悪い話は自分は忘れたかったんで、あんまり言い訳しなかった

まあ、あんまりにも酷いコードだったんで、そもそもこれはどういう経緯でできたのか、最初はどうだったのか、みたいなのを探ったりしてたのは、

周囲の反感を買っただろうし、そうは言っても、今になって思い出しても、やっぱり酷い、これをそれなりの値段で客に売りつけてるのも詐欺とは言わないが酷い

そう思ったので、頼まれもいないのにコアな部分のソースコードを眺めてみたり、流石にこれはマズいだろ、これは変えたい、

と思っても、そのマズい仕様が前提になって、そのフレームワークの上にまたクソみたいな大量のコードが乗っかっているわけで、

そのクソみたいな仕様を変えたら、すべて変更になるし、そんなことはほぼ不可能、できたとしても、それを認めてもらえない職場だってことは、まあ最初から分かっていたわけだけど、

仕事が選べなくなるってこういうことなんだよな、はあああああ…😟

2025-02-11

AIによる自己評価指標の構築

AIが自ら「優れている」と判断するための指標とは?

AI自分の改良版や新たなAIが「より優れている」と判断するには、何らかの性能指標を内部に持ち、それに照らして比較評価する必要があります。従来から研究者は「汎用的な知能の指標」を模索してきました。例えば、LeggとHutterは知能を広範な環境目標を達成する能力定義し、あらゆる環境での得点報酬)の期待値を加重和した**「普遍知能指標」**を提案しています

proceedings.neurips.cc

proceedings.neurips.cc

。これは多数の課題での性能をまとめた理論上のメトリクスで、あるエージェントが別のエージェントより知能が高いか定量化しようとする試みです。しかし、このような指標計算不能に近く、実際のAIが直接利用するのは困難です。

実際の自己評価指標としては、タスク性能や報酬関数が使われることが多いです。強化学習では、エージェントは与えられた報酬を最大化するよう学習します。したがって「より優れたAI」とは「累積報酬が高いAI」となり、報酬関数が内部評価指標役割を果たします。しかし、この指標特定タスク依存しており、本当に汎用的な知能向上を示すとは限りません。François Cholletは、特定タスクでのスキル(性能)だけを測っても知能の本質を測れないと指摘しています

arxiv.org

。なぜなら、十分なデータや事前知識があれば限定的タスク性能は「購入 (buy)」できてしまい、システム自身の汎用的な汎化能力を覆い隠してしまうからです​

arxiv.org

arxiv.org

。彼は代わりに新しいスキルを獲得する効率(限られた経験で未知のタスクをどれだけ学習できるか)を知能の指標とするべきだと論じ、これに沿ったベンチマークARCなど)を提案しました​

arxiv.org

。このように、内部評価指標をどう設計すべきかについては、単純なスコアではなく学習効率汎用性を反映するものが望ましいという議論があります

過去提案として特筆すべきは、シュミットフーバーの「ゲーデルマシン」です。ゲーデルマシン自己改善型の理論プログラムで、ある改良が自身目的関数評価指標)を改善することを論理的証明できた場合にの自分コードを書き換えます

en.wikipedia.org

。ここでの評価指標はあらかじめ定義された期待 utility(将来得られる報酬成功率)であり、改良後のコードがその値を高めると機械自身証明できたときに「より優れている」と判断します​

en.wikipedia.org

。このように形式的証明を用いる手法は、AIが外部の評価者に頼らずに自己の性能向上を判定する一例です。ただし、ゲーデルマシン理論上は強力ですが、実用的な実装はまだ無く、内部指標に基づく証明には計算上の困難や限界ゲーデル不完全性定理による証明不能命題など)が存在することも指摘されています

en.wikipedia.org

他にも、自己対戦や自己プレイによる評価有効アプローチです。例えばAlphaGo Zeroでは、自己対戦の勝率指標に新しいプレイヤーネットワークの強さを評価し、既存自分に55%以上の勝率なら「より強い」とみなして入れ替える方法採用しました​

github.com

。この手法ではAI自身が生み出すゲームデータで強さを測っており、人間評価を介しません。同様に、GAN(敵対的生成ネットワーク)では生成者と識別者がお互いの性能を評価し合う形で向上しますし、マルチエージェント自己対戦カリキュラムではエージェント同士の競争相対的評価基準となり得ます。このように、AI同士を競わせることで優劣を判断する内部指標を作る研究も進んでいます

では、こうした指標は汎用的な知能向上と結びつくのでしょうか?理論的には、幅広いタスクでの性能を測る指標(例:Legg-Hutterの指標)が真に向上すれば、それは汎用知能の向上を意味します​

proceedings.neurips.cc

proceedings.neurips.cc

しか根拠収集は難しく、現在のところ限定的タスク集合でのベンチマーク(例えば言語理解ベンチマークでのスコア向上など)を代理にするしかありません。Cholletの主張にもあるように、単一数字で知能を測ることには限界があり、指標それ自体目的化してしま危険もあります

arxiv.org

。実際、AIが与えられた指標を極端に最適化し、本来意図した知的能力の向上につながらないケース(「報酬ハッキング」)も知られています報酬ハッキングとは、AI目的関数のものの数値を上げることに執着するあまり本来目的を達成しない現象です​

en.wikipedia.org

。例えば学生テストで良い点を取ることだけを目的カンニングするように、AI不適切指標だと内部で抜け道を見つけてしまい、見かけ上のスコアは上がっても知能は向上しない恐れがあります

en.wikipedia.org

。したがって、内部指標が汎用的知能と直結するかには慎重な検証必要であり、現時点で「この指標さえあれば自律的に汎用知能が向上する」という決定打はありません。研究コミュニティでは、学習進捗そのもの報酬にする「興味・好奇心に基づく報酬」なども模索されています。これはAIが自ら予測誤差の大きい状況や未知の状態を探し、内部的に報酬を発生させる仕組みで、外部から与えられる明示的な目的が無くても自身課題を見つけて能力を伸ばす一種指標と言えます

pathak22.github.io

。例えば、未知の環境で新しいスキル習得したり予測精度を上げたりしたときに内部報酬を与えることで、AI自発的に探索・学習を続けるようになります

pathak22.github.io

。このような内発的動機づけ自己評価指標一種と考えられ、その汎用性への寄与研究されています

まとめると、AI自分で「優れている」と評価する指標としては、(1)タスク固有のスコア報酬、(2)複数タスクでの総合性能、(3)学習効率や汎化性能、(4)論理的保証証明)による性能、(5)AI同士の対戦結果、(6)内部の学習進捗(好奇心)など様々な候補があります。これまで提案された手法にはそれぞれ長所短所があり、どの指標が真の汎用知能向上に対応するかについて明確な実証はまだありません。ただ、幅広い問題でのパフォーマンス向上や新規課題への適応力向上を評価できる指標ほど、汎用的知能の改善と結びつく可能性が高いと考えられています。現状の研究は、そのような指標設定と評価方法模索している段階と言えるでしょう。

自己評価の完全自律化は可能

● 外部に頼らない自己評価自己改良は理論可能か?

AIが外部世界人間フィードバック物理的な試行)に一切頼らずに、自分の内部評価だけで自己改良を行うことは極めて挑戦的なテーマです。理論的には、先述のゲーデルマシンのように完全に内部の論理評価自己改良を進めるモデル提案されています

en.wikipedia.org

ゲーデルマシンは自らのコード目標評価基準)を持ち、改変後のコード目標達成において有利であることを自身証明できた場合のみその改変を実行します​

en.wikipedia.org

。これは究極的には外部からテスト評価者を不要にするアプローチであり、理論上は「自己評価の完全自律化」を体現していますしかし、ゲーデルマシンには重要な制約がありますゲーデル不完全性定理により、システム自分性質すべてを証明できるとは限らず、有望でも証明不可能な改良は採用できない可能性があります

en.wikipedia.org

。つまり、内部評価のみで完全に自己改良しようとすると、論理的に確実と言えない改良を見送るために改良の停滞やサブ最適に陥るリスクがあるのです。この制約は理論のものであるものの、自己評価自律化には原理的な難しさが伴うことを示唆しています

一方で、現実AI研究に目を向けると、完全に自己完結的な自己改良を実現した例はまだ存在しません。現在AIは、大なり小なり外部からデータ環境とのインタラクション依存しています。例えば、強化学習エージェント環境相互作用して報酬というフィードバックを得ますし、教師あり学習では人間がラベル付けしたデータ必要です。これらはすべて「外部世界」に由来する情報です。では**「外部に頼らない」とはどの程度可能なのでしょうか?一つの方向性は、AIシミュレーション環境仮想的な問題空間を内部に構築し、その中で試行錯誤することです。実際、AlphaGo Zero囲碁ルール環境定義)が与えられた状態自己対戦を繰り返し、外部の人間指導なしに棋力を飛躍的に高めました​

github.com

。ここで囲碁ルール自体は外部から与えられたものの、学習過程では人間評価や追加の実世界データを用いず**、内部で生成したデータのみで自己改善しています

github.com

。この例は、限定された領域では外部に頼らない自己改良が可能であることを示しています。ただし、囲碁場合ルールという明確な環境があり、勝敗という確かな評価基準があります。汎用的な知能となると、解くべき問題環境自体AIが自前で用意する必要が出てきます

現在注目されている技術に、AutoML(自動機械学習)や自己チューニングAIがあります。例えば、ニューラルネットワークハイパーパラメータ構造AIが探索的に改善する研究では、AI候補モデルを生成し、それを評価するプロセス自体自動化していますGoogleのAutoMLや進化アルゴリズムを用いた手法では、AIが別のAIモデルの性能を評価し、より良いモデル選択再生産する仕組みが使われています。この評価は厳密には外部から与えられたデータ上での性能に基づくため、完全に外部不要とは言えませんが、人手による評価は介在していません。同様に、近年の大規模言語モデルではAI自身フィードバックを与えて自己改善する試みも現れています。例えば、あるモデルの出力に対し別のモデル(もしくは同一モデルを利用)が**批評評価自己評価)**を行い、そのフィードバックで出力を改善するよう促す手法です​

philarchive.org

。これを発展させ、モデル自分の重みやアーキテクチャを調整する方向にまで自動化できれば、自己評価に基づく自己改良に近づきますしかし現時点では、モデル自身自分を書き換える(リプログラミングする)ところまでは実現されておらず、人間が用意した学習ループ評価関数最適化アルゴリズム)の中で自己改良もどきをしている状況です。つまり、「外部世界に頼らない」とはいっても、何らかの形で人間設計した評価基準やデータ分布を利用しているのが実情です。

理論観点からは、自己評価の完全自律化には情報論的な壁もありますAIがまったく外部と接触しない場合、新しい知識データを得る経路が閉ざされるため、初期時点で持っている情報範囲内でしか改善できません。例えば物理法則や実世界知識と無縁のままでは、いくら内部で自己最適化しても現実世界問題を解く能力頭打ちになるでしょう。この点で、自己評価のみで無限に汎用知能が向上するのは疑問視されています。Cholletも知能は知識経験によってブーストされる面が大きいと述べており、空虚計算リソースの拡大だけでは飛躍的な知能向上には繋がらないと示唆しています(※Cholletの議論では、人間の知能も文化や蓄積された知識という外部リソースに大きく依存しており、AIも同様であると指摘)​

reddit.com

reddit.com

。実際、人間自己改善学習)する際に、他者から学んだり環境からフィードバックを得たりしています。同じように、強いAIが一切新しいデータ摂取せずに自閉的に知能を伸ばし続けるのは非現実的にも思えます

以上を踏まえると、自己評価のみでの自己改良は理論上は一部可能でも、実用上・汎用的には難しいと考えられますゲーデルマシン的なアプローチが論証するように、自己評価アルゴリズム自律不可能ではありません​

en.wikipedia.org

しかし、その実現には厳密な前提(完全に正しい目的関数の設定など)が必要で、現実の複雑なタスク環境では外部からデータ評価を全て排除することは困難です。現在提案されている手法でこの要件(完全自律評価による自己改善)を満たすものは無く、たとえ部分的に満たしていても適用範囲限定的です。例えばAlphaGo Zero式の自己対戦はゲームには有効でも、オープンエンドな現実問題には直接適用できません。同様に、AI同士で評価し合う仕組みも、結局は人間が与えたルール報酬系の中での出来事です。したがって現時点のAI研究では、自己評価の完全自律化は理論アイデアの域を出ておらず、汎用人工知能に向けては**部分的自律(人の関与を減らす方向)**が進んでいる段階と言えるでしょう。

自己評価と知能爆発の関係

自己評価自律化が知能爆発に与える影響

「知能爆発」とは、I.J.グッドが提唱したシナリオで、あるAI自分より優れたAI設計できるようになると、自己強化のフィードバックループが働き知能が指数関数的に向上するという仮説です​

philarchive.org

。この現象が成立するための鍵の一つが、AI自身による正確な自己評価自己改良です。もしAIが毎回の改良で自分の知能(性能)が確実に向上したと判断でき、それをもとにさらに改良を重ねられるなら、自己強化のサイクルが途切れることなく回り続ける可能性があります

intelligence.org

intelligence.org

理論家たちは、「自分設計能力を高めること」がAIにとっての収束的な目的(instrumental goal)になると指摘しており​

intelligence.org

、十分高度なAIであれば自発的自己改善を図るだろうと考えられています自己評価 Permalink | 記事への反応(0) | 10:24

論文概要

論文

ar5iv.org

は、テスト時の計算能力拡張する新しい言語モデルアーキテクチャ提案しています。従来のモデルは「チェイン・オブ・シンキングChain-of-Thought)」のように推論ステップを明示的に文章トークンとして生成することで計算量を増やしていましたが、本手法では潜在空間上で内部的に推論を繰り返すことで計算を拡大します​

ar5iv.org

。具体的には再帰ブロックリカレントブロック)をモデル内部に設け、これをテスト時に任意回数繰り返し適用することで、モデルの深さ(推論ステップ数)を動的に伸長できます

ar5iv.org

。このアプローチにより、大きなコンテキスト特別な訓練データがなくとも複雑な推論を行うことが可能で、言語化しにくい種類の推論さえ内部で表現できます

ar5iv.org

。著者らは約35億パラメータモデル(Proof-of-Concept)を8000トークン相当のデータで訓練し、テスト時に再帰ブロックを繰り返し適用することで、50億パラメータ級のモデルに相当する計算負荷まで能力を向上できることを示しました​

ar5iv.org

。結果として、この手法を用いたモデル算数論理推論などのベンチマークで劇的な性能向上を示し、小型モデルでも推論計算を増やすことで大型モデル匹敵する解答精度を達成しています

ar5iv.org

知能爆発評価ボトルネック克服について

結論から言うと、本論文は「知能爆発」の評価における外部世界依存というボトルネックを直接克服する提案には至っていません。 提案された再帰的推論モデルは、確かに追加の外部知識フィードバックなしにモデル内部で推論能力を高めることが可能です​

ar5iv.org

。これは長大コンテキストや人手による解答ステップの用意に依存しない点で従来手法より自律的といえます

ar5iv.org

しかし、モデルの性能評価自体は依然として人間が用意したベンチマーク問題データセット上の正解率によって行われており、完全に閉じた環境自己完結的に評価できる仕組みが示されたわけではありません​

ar5iv.org

。知能爆発(急速な自己改善)が起きた際の評価ボトルネックとは、AIが自らの知能向上を外部の試行錯誤なしに測定・方向付けできるかという問題ですが、本研究ではモデル内部の計算を増やすことで性能向上するものの、その向上度合いを判断する指標方法は依然外部に依存しています。したがって、「外界に頼らず知能爆発を評価する方法」という観点でのブレイクスルー提案されていないと言えます

自己評価を完全自律的に行う仕組みの有無

論文手法には、モデル自身が完全に自律して自己評価自己フィードバックを行う仕組みは含まれていません。 提案手法あくまで推論プロセスを内部で繰り返すことで答えを洗練させるものです​

ar5iv.org

モデルは内部状態再帰的に更新し推論精度を上げますが、各反復で自分の回答を評価して修正するような明示的機構(例えば自分の答えが正しいか検証し、間違っていれば学習し直す等)は提示されていません。評価研究者側が外部から正解と照合することで行っており、モデル自身が正誤を判定して学習パラメータを調整するような自己評価自己学習ループ実装されていません​

ar5iv.org

。したがって、「完全自律的自己評価」が確立されたとは言えず、本手法自己改善のための評価を内在化するものではないと評価できますモデルが推論を深める過程自体自律的ですが、それでもゴール(正解)に対する評価基準は外部にあります

超知能が指数関数的に自己改善できるメカニズムの有無

この論文では、いわゆる“超知能”が自らを指数関数的に改善していく明確なメカニズムは示されていません。 提案されたモデルは、テスト時に再帰ブロックを増やすことで徐々に性能を高める設計です​

ar5iv.org

。性能向上は反復回数(計算量)の増加に比例して緩やかに起こるものであり、それ自体線形的な計算資源の追加による性能ブーストです​

ar5iv.org

。たしかにある程度の反復を重ねることで小さなモデルでも大モデル並みの性能を発揮できますが​

ar5iv.org

、これは事前に与えられたモデル構造と重みの範囲内での話です。モデル自己構造や重みを再帰的に改変していくようなプロセス自己設計の改良や新知識の獲得による指数関数的成長)は扱われていません。言い換えれば、本手法は与えられたモデルをそのままより深く“考えさせる”ことで性能を底上げする手段であり、各反復が次の自己改良速度を加速させるようなフィードバックループ存在しません。ゆえに、知能が雪だるま式に加速していくような自己改良メカニズムは明示されていないと言えるでしょう。

知能爆発評価問題への影響と結論

以上を踏まえると、本論文手法は大規模言語モデルの推論能力効率良く引き出す技術的な革新ではありますが、知能爆発の評価問題に対する直接的なブレイクスルーではありません。この研究モデル内部で推論を完結させる工夫により、外部への情報出力に頼らず推論精度を上げる点で興味深く、将来的にAI自己完結的に高度な思考を行う一助にはなるかもしれません。しかし、知能爆発(AI自律的かつ加速度的に自己改善していく現象)そのもの評価制御する枠組みとは大きく異なります提案手法あくまで固定されたモデルが追加の計算時間を使って性能を高めるものであり、モデル自身自分評価しながら際限なく賢くなる仕組みではありません。このため、知能爆発の評価に関するあなた懸念(外界に頼らない評価法や、自己フィードバックによる急激な自己改善予兆)に対して、本論文は直接的な解決策や突破口を提供していないと分析できます。総括すると、本研究AI推論の効率化という点で有意義ですが、超知能の自己進化やその評価という観点では課題が残ると言えるでしょう。​

ar5iv.org

2025-02-05

anond:20250204225533

ChatGPT 4o

この文章の主張は、「バグを減らすために for 文を避け、map や filter を使うべきだ」というものだが、これは一面的見方とも言える。

かに関数型プログラミング恩恵を受ける場面は多く、副作用を減らし、データの不変性を維持することでバグを減らせる。しかし、for 文が全て悪いわけではなく、状況によっては適切な選択肢になる場合もある。

また、「How だとか What だとかどうでもいい」という主張には疑問が残る。アーキテクチャ設計方針を軽視しすぎると、長期的な保守性や拡張性に問題が生じる可能性があるため、バランス重要だ。

 

Claude3.0

総括:

この記事実践的な観点から重要な指摘をしていますが、やや極端な主張も含んでいますプログラミングパラダイム技術選択は、以下の要素を総合的に判断して行うべきです:

 

Gemini 2.0

結論

for文よりもmapやfilterなどの高階関数を使う方がバグが減るという記事の主張には概ね賛成です。ただし、for文が完全に不要というわけではなく、オブジェクト指向でもカプセル化を用いてデータの書き換えを制御できますTypeScriptは型のチェックだけでなく、Classを用いたオブジェクト指向プログラミング可能です。

 

3AIにだいたい共通している主張

関数型言語目的の一つにバグを減らすというものがあるというのは同意

・letを使わない(厳密には副作用排除)はバグを減らす効果がある

・悪いのはfor文ではなく副作用だが、可変な変数が必ずしも悪いとは限らない

TypeScriptの型チェックを使うとバグが減る

・「バグを減らすため」といっても、開発者全員が理解やすく、保守やすコードを書くことも同じくらい重要

2025-01-30

AI、今のコンピュータアーキテクチャに優しくないけど、なんとかならないのか?

今のAIのTransformer派生形の仕組みだと、

  1. メモリ容量、帯域が足りない
  2. チップを分けるとチップ通信の帯域が足りない
  3. メモリに収まらない量の重みデータになり、キャッシュが効きにくい
  4. メモリとの端子を増やそうとすると、チップのIOの物理的大きさの制約があり、チップサイズが大きくならないと増やせない
  5. 1つのAIメモリ容量が足りないのに、複数AI同士を立ち上げ、やり取り出来ない
  6. 発熱が大きい
  7. 電力が大きい


DDR5は遅すぎる。HBM3Eの価格が下がらないのか家庭用には全然来ない。

2025-01-28

DeepSeekは現状使える性能ではない

近年、AI技術進化は目覚ましく、特に自然言語処理NLP)分野では多くの企業研究機関が競って高性能なAIモデルを開発しています。その中で、DeepSeekというAIモデルが注目を集めていますが、現状ではその性能には多くの課題が残されており、実用的なレベルには達していないと言わざるを得ません。本稿では、DeepSeekの性能の低さやボトルネックの多さについて詳しく考察し、なぜ現状では「使える性能ではない」と評価されるのかを解説します。

1. 性能の低さ

まず、DeepSeekの性能の低さが指摘される最大の理由は、その応答精度の低さにありますAIモデル実用であるためには、ユーザー質問要求に対して正確かつ適切な回答を提供することが求められますしかし、DeepSeekの場合特に複雑な質問文脈理解する必要がある場合に、しばしば誤った回答や不適切な応答を返すことが報告されています

例えば、技術的な質問に対しては専門知識が不足しているため、表面的な回答しかできず、深い洞察や具体的な解決策を提示することができません。また、文脈理解する能力も不十分で、会話の流れを把握できずに的外れな回答をしてしまうことが多々あります。これでは、ユーザーが求める情報提供するどころか、むしろ混乱を招く結果となってしまます

2. ボトルネックの多さ

DeepSeekの性能が低い背景には、いくつかのボトルネック存在します。まず、学習データの質と量が十分でないことが挙げられますAIモデルの性能は、その学習データに大きく依存しますが、DeepSeekの場合学習データが偏っていたり、最新の情報が反映されていなかったりするため、現実世界の多様なニーズ対応できていません。

また、計算リソースの不足も大きな問題です。高性能なAIモデル運用するためには、膨大な計算リソース必要となりますが、DeepSeekの場合、そのリソースが十分でないため、応答速度が遅く、リアルタイムでの処理が困難です。これでは、ユーザーが求める即時性を満たすことができず、実用的なツールとしての価値が大きく損なわれてしまます

さらに、モデルアーキテクチャ自体にも課題があります。DeepSeekのアーキテクチャは、他の先進的なAIモデル比較して、複雑なタスクを処理する能力が劣っており、特に長文の理解複数文脈を同時に処理する能力が不足しています。これにより、高度な質問や複雑な要求に対しては、十分な性能を発揮することができません。

3. ユーザーエクスペリエンスの悪さ

性能の低さやボトルネックの多さは、結果としてユーザーエクスペリエンスの悪さに直結します。ユーザーAIツールを利用する際に求めるのは、正確で迅速な応答であり、その応答が信頼できるものであることです。しかし、DeepSeekの場合、応答の精度が低く、処理速度も遅いため、ユーザーストレスを感じることが多くなります

また、誤った情報提供されるリスクも高く、これではユーザー安心して利用することができません。特にビジネス教育などの重要な場面で利用する場合、誤った情報が与える影響は大きく、信頼性の低いAIツールは使い物にならないと言わざるを得ません。

4. 今後の改善

現状では、DeepSeekは実用的な性能には程遠いと言わざるを得ませんが、今後の改善によっては可能性を秘めているとも言えます。まず、学習データの質と量を向上させることが急務です。最新の情報を反映し、多様なデータ学習させることで、応答精度を向上させることができるでしょう。

また、計算リソースの拡充も必要です。高性能なハードウェアを導入し、効率的アルゴリズム採用することで、応答速度を向上させることが可能です。さらに、モデルアーキテクチャ見直し、複雑なタスクを処理する能力を強化することも重要です。

結論

DeepSeekは、現状ではその性能の低さやボトルネックの多さから実用的なAIツールとしての評価を得るには至っていません。応答精度の低さ、処理速度の遅さ、ユーザーエクスペリエンスの悪さなど、多くの課題が残されていますしかし、これらの課題を克服するための改善が進めば、将来的には有用AIツールとしてのポテンシャルを発揮する可能性もあります。今後の開発動向に注目していく必要があるでしょう。

米国AI戦略の岐路──Deepseekの衝撃と「利益なきバブル」の行方

序章:AI覇権競争パラドックス

2023年、生成AIを搭載した検索エンジンの登場は世界に衝撃を与えた。米国政府国家戦略として掲げるAI開発競争は、技術的優位性の確保と経済的リターンの獲得という二重の課題に直面している。OpenAIGPT-4が示した驚異的な言語理解能力は、軍事技術から医療診断まで幅広い応用可能性を予感させた。しかし、黎明期熱狂が冷めつつある今、業界関係者の間で囁かれる疑問は「この技術は本当に金を生むのか」という現実的な問いへと移行している。

第1章:米国AI戦略光と影

国家戦略としてのAI投資

米国政府2021年AI研究開発予算を32億ドルに設定し、国防高等研究計画局DARPA)主導で軍事転用可能AI技術の開発を加速している。量子コンピューティングとの融合や、半導体製造技術国内回帰(CHIPS法)など、ハードウェア面での基盤整備に注力する姿勢は鮮明だ。特にNVIDIAGPU需要国防契約と連動し、同社の株価過去5年で1,200%超の上昇を記録している。

民間セクタージレンマ

大手テック企業の動向は矛盾に満ちている。MicrosoftはOpenAIに130億ドル投資しながら、実際のAzure AIサービス収益予測の60%を下回る。GoogleのBard統合検索では広告収入モデルの再構築に苦慮し、AmazonのBedrockプラットフォームAWS顧客の3%未満しか採用していない。生成AIコスト構造が明らかになるにつれ、1クエリ当たり0.006ドルという処理費用収益化の壁として立ちはだかっている。

第2章:LLMビジネスモデル根本課題

幻想現実乖離

ChatGPTの月間アクティブユーザー数が18億を突破する中、OpenAIの年間損失額は5.4億ドルに達する。主要収入であるAPI利用では、企業顧客の80%がプロトタイプ段階で開発を中止している現実がある。Microsoft 365 Copilotの事例が示すように、生産性向上ツールとしての価値認知と実際の支払意思の間には深い溝が存在する。ある調査では、Copilotユーザーの67%が「月30ドル以上の価値を感じない」と回答している。

半導体市場の歪み

AIチップ需要過熱が生んだ半導体バブル特筆すべき現象だ。NVIDIA時価総額2023年に1兆ドル突破した背景には、H100 GPU価格製造原価の800%を超える事実がある。TSMCの3nmプロセス需要の70%がAI関連に集中する異常事態は、半導体産業全体のリソース配分を歪めている。しかし、Cerebras Systemsの新型Wafer Scale Engineが示すように、ハードウェア進化速度がソフトウェア最適化を上回る逆転現象が発生しつつある。

第3章:Deepseekが突きつける現実

コスト革命の衝撃

中国のDeepseek-R1がGPT-4の性能を1/10コストで実現した事実は、業界常識根本から覆した。同モデル採用した「動的ニューロン活性化アルゴリズムは、不要パラメータ計算を85%削減する画期的手法だ。これにより、従来1回の推論に要した0.2kWhの電力を0.03kWhまで圧縮することに成功している。Deepseekの事例が証明したのは、計算資源多寡が必ずしも性能優位を保証しないという逆説である

オープンソースの脅威

Llama 3やMistralの進化が加速する中、独自モデルを保持する企業競争優位性は急速に失われつつある。Hugging Faceのプラットフォームでは、1週間ごとに新しいLLMアーキテクチャが発表され、ファインチューニング自動化ツールが普及している。特に中国発のモデルGitHubで急増する傾向は顕著で、2024年上半期だけで3,200件の新規リポジトリ登録された。この状況は、初期投資の回収を前提としたビジネスモデルの存続自体を危うくしている。

第4章:アルゴリズム戦争と人的資本

中国数学的優位性

国際数学オリンピック(IMO)の過去10年間で、中国チームが9回の優勝を達成している事実は軽視できない。特に2023年北京大会では、金メダル6個中5個を中国国籍学生が独占した。米国チームの実態を見ると、参加者の62%が中国系移民の子弟で構成されており、本質的人材育成力の差が浮き彫りになっている。DeepMindの元チーフサイエンティフが指摘するように、「Transformerアーキテクチャ革新には組合せ最適化の深い理解が不可欠」であり、この領域中国研究者が圧倒的な論文数を誇っている。

教育システム比較

清華大学AI特別クラスでは、学生高校時代からGANsや強化学習数学的基礎を学ぶカリキュラム採用している。これに対し、MITコンピューターサイエンス学部では、学部2年次まで微分方程式の必修科目が存在しない。教育省の統計によれば、中国トップ30大学AI関連専攻を選択する学生の数は、米国アイビーリーグの3倍に達する。人的資本の蓄積速度の差が、5年後の技術格差に直結する可能性が高い。

第5章:AIエコノミー未来

コモディティ化の波

LLM市場が直面する最大のリスクは、電気自動車バッテリー太陽光パネルと同じ道を辿る可能性だ。BloombergNEFの予測によれば、2027年までにLLMの性能差が実用レベルで感知できなくなり、1トークン当たりのコスト現在の1/100にまで低下する。この状況下では、MicrosoftのCopilotのような高額サブスクリプションモデルの持続性が疑問視される。逆に、LINEWhatsAppのようなメッセージングアプリへの基本機能組み込みが主流となるシナリオが有力視されている。

地政学リスク顕在

AI技術民主化が進むほど、国家間の競争ハードウェア規制データ主権を巡る争いに移行する。米商務省が2024年に発動したAIチップ輸出規制は、中東諸国向けのGPU販売を34%減少させた。一方、中国が推進する「東数西算」プロジェクトでは、内陸部に分散したデータセンター群が国家標準モデルの訓練基盤として機能し始めている。技術優位性よりも、地政学的な影響力が市場支配する時代が到来しようとしている。

終章:バブル崩壊のシナリオ

現状のAIバブルがはじけるトリガー複数存在する。第一に、2025年をメドに予想される「生成AI特許訴訟の多発」が挙げられる。Getty ImagesがStability AI提訴した事例のように、著作権問題技術普及の足かせとなる可能性が高い。第二に、エネルギーコストの急騰だ。アイルランドデータセンター群ですでに発生しているように、LLM運用必要な電力需要地域送電網の容量を超えつつある。

最も深刻なシナリオは「技術進化の減速」である。Transformerアーキテクチャ以降、根本的なブレイクスルー10年間発生していない事実看過できない物理学者の間では、現在ニューラルネットワークチューリング完全性の限界に近づいているとの指摘もある。もし2020年代後半までに新しいパラダイムが登場しなければ、数千億ドル規模の投資不良債権化する危機現実のものとなる。

結語:人類史上最大の技術賭博

米国AI戦略行方は、単なる経済競争を超えた文明史的挑戦と言える。Deepseekが示したように、技術優位性は絶対的ものではなく、常に相対的な優劣でしかない。重要なのはAIが生み出す付加価値本質を見極めることだ。仮に生成AIが期待通りの経済効果を生まなくとも、その研究過程で得られた副産物分散学習アルゴリズムや省電力チップ設計技術など)が次の技術革命の種となる可能性がある。

最終的に問われるのは、短期的な株価維持ではなく、長期的な技術蓄積をいかに持続可能な形で進化させるかという課題である中国の人的資本戦略米国投資戦略が衝突する中で、第三極としての欧州連合AI法案)やインドデジタル公共財戦略)の動向が新たな可能性を開くかもしれない。AI開発競争は、国家の命運をかけた「静かなる戦争」として、これからさらに激化していくであろう。

2025-01-25

画像生成AI最初から金稼ぎのために悪用するつもりの奴はどうでもいいが、ただ仕様が分かっていないせいで無駄トラブルに巻き込まれてる一般人をよく見る

潜在空間概念モデルトレーニングの流れ、ファインチューン、マージ、LoRA、ベクトル操作くらいは勉強してから使ってほしい

わたし特定絵師に寄せてないよ!と言っても、使ってるモデルチューニング特定絵師データばかり使ってたり、絵師LoRAがマージされてて特定の絵柄が標準で生成されるようになってるモデルを使っていると、ユーザーが寄せようとしなくても寄る

イラスト用のモデルがなぜイラスト風の画像以外を上手く生成できなくなるか?つまりなぜ実写が苦手になるのか、それはイラストで頭をいっぱいにされているからだよ

あと、スタイル指定に使われる「by 〇〇」とか「〇〇 Style」みたいな言葉は、所詮他のプロンプトと同様に「複数概念内包された言葉」でしかないので、組み合わせ次第では特定の画風に寄ることもあるわけだ

例えば「Vector Style」という言葉が「solid color, sharp edges, clean edges, minimalist, transparent background, high contrast」といった要素を持つ場合

「solid color, sharp edges, clean edges」というプロンプトを使うとVector Styleに近づく

要は、ある言葉が直接そこに結びつき、絵柄指定と同じ効果をもたらすということ

さらに、この現象の極端なケースとして「教師データ特定絵師作品ばかりに偏ったオブジェクトは、オブジェクトのもの絵師の絵柄が結びついてしまう」問題もあったりする

そのオブジェクトAと絵師Xの概念が非常に近いために、オブジェクトAを生成すると絵師Xの絵柄で生成されることがある

AといえばX!状態というわけだな

逆に、絵師Xの名前と同じ単語が入っていると、なぜかAが生成される、ということもある

これはいわゆるバイアスで、一般的な例を出すと、黒人アフロで生成されやすかったり、白人金髪になりがちだったり、特定職業人を生成すると性別が偏るのと同じで主に学習データの偏りに起因する

謎のサインが生成されるのも「イラスト絵画には大体はこんな感じのがある」と学習した結果だ

黒人アフロの例では、それぞれの概念が結びついていて、黒人チリチリというバイアスがあるので黒人+ロングヘアー=チリチリロングになったりするし、ドレッドヘアーになることもある

白人+アフロ=浅黒アフロになる事もある そのAIにとってアフロといえば黒人であり、黒人といえば肌が黒い、白人に黒を足すと浅黒い、故に浅黒アフロが生まれる、ことがある

とはいえ、この程度ならAI側がその言葉から学んだ特徴に過剰適合していない場合プロンプトの組み合わせで回避できる問題

黒人をロングにするとチリチリになるなら、ストレートヘアーなどの言葉を追加する

白人アフロで浅黒くなるなら、白い肌などの言葉を追加する

アフロや黒い肌といった言葉Negativeに入れるのもありだ

不要な特徴から距離を取れる、ただし反応できるのは文字概念が結びついている時」

潜在空間ベクトル操作とはそういうこと

しかし実際のところ、全ての概念は何か別の概念と関連性がある

ストレートヘアーを追加すると顔が変化したり、白い肌を追加すると目の色が変化したりする

「"あの"魚が欲しい」と網を投げた際に、狙っている魚以外のものまで取れてしま

言葉の組み合わせの影響で、別の海域に流されることもある

なので、観察しながら調整しなければならない

というかそもそもバイアスは利用したければ利用したっていい

望まぬ結果を避けるために、意図せずともそういう結果になりうる、という事だけは把握して

今の生成AIにとっての自然言語とは、固有の意味を持つのではなく、ある「領域」を示すもの

生成AIは、言葉に従って潜在空間を移動しながら、学習した言葉と関連する画像から得た特徴をガバっと鷲掴んでいき、人間から見た時の整合性は気にせず一つの出力物をアウトプットする

小魚が多い海域で網漁をすると、小魚だけ取れることもあるが、小魚と一緒にゴミが取れることもある

ゴミは要らないと言っても仕方ない、その海域にはゴミ存在するのだから

だが実は、この仕組みがアウトプット多様性を生み出すために役立っている

人間は魚を手に入れるために網を投げたわけだが、漠然と「魚が欲しい」と網を投げた時に、特定の魚しか取れないのは多様性の欠如に繋がるし対応力もなくなる

究極的には、「プロンプトで書かれている事を"正しく"」出力するAIも作られるかもしれない

必要としているものしか出てこない、さぞ便利な道具だろうと思う

だが、そのAI活用するには結局のところ、ドメイン知識を持った上で自分が何を必要としているのかを相手に伝える力が必要となる

理由は、ある言葉解釈が、人それぞれであるから

「犬」と言われて、真っ先に秋田犬が思い浮かぶ人もいれば、ペットミニチュアダックス以外が思い浮かばない人もいる

その「リンゴ」っていうのは、片があるの?無いの?一枚の葉がついてたりする?木のこと?

エンジニアってのは、何のエンジニアなんだい?

"正しさ"とは?解釈の結果は一義的なの?全人類共通理解が得られるの?

あいつが悪い!いやこいつが悪い!すまん俺が悪い!いやそんなことはない!

と、何かひとつ物事にも、色々な解釈がある

お前がそう思うんならそうなんだろう、お前ん中ではな

by 日本橋ヨヲコ/少女ファイト

あらゆる物事について、全ての人類が同じ解釈になる日がこない限り、知識経験、そして言語化から逃げられないというわけだ

というわけで、潜在空間概念モデルトレーニングの流れ、ファインチューン、マージ、LoRA、ベクトル操作を学び知識を増やし経験を積もう

画像生成モデルを学ぶこと、その半分くらいは言語モデル理解することにも繋がるよ

って感じの事をちゃんとした文章で誰か書いてよ

本当はそもそもの仕組みとかモデル毎のアーキテクチャとかトークンとかシードについても知ってほしいけどキリがないんだよね

追記:

AI校正させるのはいいけど、この文章で完成するわけでもなし、それを"ちゃんと"発展させるのは手間がかかるんよ

それこそ小魚と一緒にゴミが取れまくるんで、ゴミを取り除くために愛と魂をこめて作業しないといけないのがめんどいわけですわ

から俺はやりたくないけど出版してくれたら買って布教するよの投稿

追記2:

戦場に引きずり出されてるのは俺じゃなく「仕様が分かっていないせいで無駄トラブルに巻き込まれてる一般人」ね

2025-01-22

anond:20250122131159

いやーアーキテクチャテクノロジーも全部言ってるが

お前言ってないじゃん

そんなの守秘義務に入ってないのに

もっと突っ込んでこいよ笑

間違えて面接まで来ちゃった嘘つき偽エンジニアじゃないんならさあ

anond:20250122004833

映像と音声を分ける

・音声をカットする

感情表現や抑揚に対応したアーキテクチャを選ぶ

女優さんの音声モデルを用意する←こだわりポイント

・様々なパターンの音声を生成する←こだわりポイント

カットした音声に生成した音声を追加する←こだわりポイント

映像と音声を齟齬がでないように合わせていく←こだわりポイント

流れはこんな感じやね

こだわり具合で難易度がかなり変わるかな

2024-12-31

AIがなぜ横並びなのか分からない

ChatGPTもClaudeもGeminiも、最上モデルの賢さは似たりよったりだ。

こんだけ流行ってるんだからどこか一社が抜群に賢いAIを出して他者を置き去りに出来ないのか。

やっぱりここが現状のアーキテクチャ限界なのか?

2024-12-27

ホンダ日産

メディアでは社風が合わないやら、ホンダによる日産の救済と言われているけど、自分なりに考えてみた

そもそも提携したり、統合する必要あるのか?


次に統合出来るのか?


はたしてシナジーは出るのか?


おわりに

色々思う所はあるけれども、日本産業史に名を残すかもしれない提携統合劇だと思うので、うまくいって、さらなる成長を目指してほしいと思う

日産はあとちょっとで創立100周年、100周年という節目を祝えるような事業状況をつくってほしい

増田個人としては、日産が持っているFRプラットフォーム活用して、ホンダ日産の新しいシンボルとなるようなスポーツカーをつくってほしいなとは思う、もうスポーツカーという時代でもないのはわかっているけど

がんばれホンダ日産。 三菱はすまん、まだ態度が決まっていないので、言及出来ん。

2024-12-23

遊戯王のスタン落ちの話

遊戯王OCG(以下、OCG)に新規勢が入ってこないというブログがあり(削除済み)そのなかでスタン落ちに関して言及していた。

この手のOCGに発売期間で公式大会使用できるカードを区切るというレグレーションの導入に関しては、かなり以前から議論があって今更感ではある。

同時に、いまだにOCGにはスタン落ちに対するアレルギーが酷いということの証左でもあり、これがOCGが改善しない最大の理由でもあると感じる。

結論だけを言うと、現在のOCGは古参の厄介オタばかりなので現状を変えることはできない、ということ。

そりゃあ新規はこないでしょ。

タン落ちって何が悪いと思ってるの?


タン落ちというのは、MTGスタンダードからとられている。

MTGは発売時期によって使えるカードレギュレーションが決まっており、一番カードプールの少ないスタンダードは最長で3~5年。この期間を過ぎたり新たに再録されないと次のスタンダード更新時に公式スタンダード大会では使えなくなる。これがスタン落ちと呼ばれている。

一般的にこのスタン落ちはあまりよくないとされており、単純にカードが使える年数が限られるということに抵抗がある人は多い。

ではMTGはどのカードも3~5年程度で使えなくなるのか?というときちんとモダンなどの存在があげられる。

これはポケカでも同様だが、レギュレーションを発売時期で区切っている場合には、期間を過ぎた場合で使えるフォーマットが必ず存在する。

タンで遊んでいたカードが使えなくなったら、次はモダンパイオニア、という感じでいろんな使い方ができる。

OCGにおいてスタン落ちが敬遠されているが、実際のところは発売時期をいくつか区切って複数レギュレーションを作れば解決できる問題なのだ

全てのカードに使える時期を定めるって考えているOCG勢がほとんどだが、単なる無知だろう。

タン落ちの欠点


単純に発売時期でレギュレーションを区切る施策にはこれとは別の問題がある。

それはレギュレーションごとに人が分散してしまうことだ。たとえばMTGではスタンはあまり人気がないが、だからといってモダン環境が酷くなりすぎていろいろと問題になった時期もある。

また、スタンで遊び続ける人はそのままスタンにいることも多く、スタンからモダンという導線は必ずしも有効ではない。

これはポケカに顕著で、ポケカエクストラというカードプールの幅が大きいレギュレーションがほぼ閑古鳥だ。より広いカードプールで遊べるから人がいるだろうという考えはポケカには通じず、レギュレーション落ちがあるスタンをずっとプレイする人が大半という結果だ。

これは見方を変えると、一つのカードゲームの中でプレイ環境バラバラになり、人数が偏ってしまうという問題でもある。

ポケカはぎりぎりいいのかもしれないが、MTGもっと新規にやさしいスタンがあまり人気ではないのが問題だし、各フォーマット(スタンモダン)に人が散っているために同じゲームなのに全く違うゲームになっている。

人気のフォーマットである統率者が優遇されすぎて他のフォーマットが閑散としたり、大会が中止になったりもする。各フォーマットで人が流動的になるかというとそうでもないため、結果的MTGフォーマットは何回も改定されている状況だ。

ようするに、発売時期によってレギュレーションを分けるという試みはよくても、それが理想的になるかは賭けになる。

「じゃあやらないほうがいい」

というのは、日本の政治家の「無策思想」そのまま であり、老害のもの

そもそも欠点しかさないようなOCG勢は、マイナカード保険証統合にも反対するような人と同じで変わることがそもそも受け入れられないだけだ

OCGからラッシュに移行すればいい?



OCG環境文句を言う人がいると必ず、ラッシュをやれ、という人が出てくる。

まあラッシュを見ればそんなこと言えないんだけどね。

単にOCGのカード模倣した変なゲームなんだし。ラッシュするなら他の選択肢あるし。


トレカは長く遊べるゲームなので厄介オタがはびこりやす


他のゲームコンテンツと違って、古いカードで遊べるというトレカはだいたい厄介オタが多い。例えばポケモンというゲームは機種が変わっても驚くほど過去との互換性が確保されているため、引っ越しが常に行われてきた。逆にポケモン以外で特定ゲームシリーズをずっと遊び続けるというのは意外としんどい。端末が変われば遊び方も変わる。ドラクエだって初代と今は全然違っている。

トレカは大まかなルールはそのままに、カードけがずっと増え続けており、下手すれば過去カードリメイクなどでユーザーをとどめている。

また紙のカードはそのまま資産になるケースもあり、トレカは長く遊べるゲームの一つになっている。

けどゲーム自体が長期に運営されているため、厄介オタが非常に多い。

普通ゲームなら、シリーズ1と2は神だが3と4はゴミ、それ以降は凡作、のように区切りをつけられる。しかトレカは断続的に延々とシリーズが続いており、絶え間ないインフレ禁止改訂でいきながらえている。

また、ここ5年ほどは1タイトルにおける発売パックが極端に増えている。

かつてのOCGは禁止改訂が年2回程度で、いまより発売ペースも緩かった。今はトレカ全体がとにかく製品を乱発して売って売って売りまくる。

粗製乱造が激しく、カード品質バラツキや環境の変化の大きさに波が大きい。

車など人生設計価値観が変わるものでもないため、長期的には変化がなくとも短期的にはアーキタイプの変化を常につける必要があったりと忙しいのだろう。

それについてこれているプレイヤーがどんなにヤバい人かは誰でもわかるだろう。

格ゲーが一時期新規排除しまくり絶滅危機に瀕したが、現在新規にやさしいことを売りにしている。けどOCGを含めてトレカ原則そういうことができない。どこから入っても遊べることはよいことだと誰でも思っていても、基本的トレカの流れは極端に早くて流れに入ることすら難しい。

競技的に先鋭化している面もあって、かつてのようにキャラを動かせればいいというゲーム性がほぼ排除されて(ウルトラマン簡単すぎるが)、総合ルール理解することが重要になりつつある。

しょうじき、この状況で新規はなかなか入ってこれないだろう。

DCGの隆盛


現在の多くのカードゲームデジタルゲームを紙と併用していてDCGとか言われている。ほとんどの初心者はこのDCGから始めるのが普通で、どちらかというとソシャゲの一つととらえている感が強い。

これによって紙から遊んでいる人と新規全然交わらない事態が発生している。

たとえDCGから紙に興味を持っても、OCGなどは臭い汚いキモイ揶揄されているので、たぶんこれ以上新規で紙のOCG始める人は増えないんじゃないかな。

OCGはたぶん続くけど、厄介オタク排除不可能だろうな



レギュレーションの導入は個人的には無理だと思っている。それは日本銃器合法化を導入するようなもので、文化や背景がきっちりしていないなら導入はあきらめるしかない。

そもそもOCGはかなり古いアーキテクチャ構成されており、そこに慣れ親しんだプレイヤーの理解は得られないと思う。

ただ、現状のOCGはアニメだってショートしか作られないという限界集落なので、たぶんこれ以上の新規勢を呼び込む方法はないってのが如実に表れている。

トレカ性質上、常に動き続けないと死んでしまうし、死んでいないことをアピールするために呼吸器つけて走っている状況だと思う。

厄介オタが全体を買い支えているけど、彼らに新規を呼ぶ力はゼロなのでまあどうにもにならないかな。

2024-12-09

4年前のM1 Macはまだまだ現役だよ。anond:20241013011004

アーキテクチャ問題じゃないかな。

 

2020年11月に、13インチMacBook Air(16GB RAM 1TB SSD)を16.9万円で買ったけど、まだまだ現役で使えているよ。

M4かM5世代くらいで買い替えようと思ってるけど。

 

4年くらい前でもIntelモデルMacは処理が固まったりすることが多いような気がしてたよ。

RAM問題ではなくて、IntelモデルMac選択してしまうと色々つらいよねって話なんじゃないかな。

 

ログイン ユーザー登録
ようこそ ゲスト さん