一般的な国産LLM開発という主語ではございません. 私としては国産なり日本発のLLM開発を諦めてはならないし, その可能性は十分にあると信じています. 既に出ているものも多数ございますし. 本エントリはそれとは全く別の, 「国産LLMの人」という方についてです. --------- 色々思うところがありまして. 例えば, 「微分は使いたくない」「XOR出来たから何とかなるやろ」 と繰り返し主張しておられる. そのような単純な活性化関数では過学習か誤差が噴出するかの二択でしょう. 実際, 氏のツイートは正にその状態を示唆しているように見受けられます. ```x ▶︎ 誤差が0.12あるだけでとんでもないエラー率になる。誤差関数が雑だから本当はもっとあるのかもしれないが、改善の余地がある。 ▶︎ 問題は、どのような状態の時に学習が成功し、失敗するのかがまだ分かっていない。表現力は十分に持ってい
