  |
名前を隠して楽しく日記。
分断して支配するという、基本にみごとにやられてるよなあ。
銀英伝のラングさんも、自説が現代でも見事に機能していて、久々にワロタだろう。
相手陣営だけではなく、次は自分が狙われるかもしれないわけだから、団結してNOを選挙で突きつけられればいいけど、これがとても難しい。
そして、これは富裕層だけだからー儲かっている所だけだからーと言われると、それならいいかと、かつて消費税でやられたたことをすっかり忘れて承認したりするよね。
色々思うところがありまして。
例えば
と繰り返し主張しておられる。
そのような単純な活性化関数では過学習か誤差が噴出するかの二択でしょう。実際、氏のツイートは正にその状態を示唆しているように見受けられます。
----
▶︎ 誤差が0.12あるだけでとんでもないエラー率になる。誤差関数が雑だから本当はもっとあるのかもしれないが、改善の余地がある。
▶︎ 問題は、どのような状態の時に学習が成功し、失敗するのかがまだ分かっていない。表現力は十分に持っているはずなのに、なぜか学習しない。
----
過学習に至ったときにうまくいってるように見えるだけでしょう。
----
▶︎過学習ではないですね。データセットが小さいかつ、それ以外の範囲が出ないことが分かっているので。XORは2^2パターン全て学習できれば精度が100%になりますが、それは過学習とは呼ばないのと同じで、今回の初期のRNNに関しても文字数が圧倒的に少なく、パターンも決まっているので。
----
……と主張されておられる。
私が思うに、それは単純な写像を、ニューロンを使って回り道して作ってる状態。LLMは局所的にはたしかに線形写像だけど、全体で見ても線型写像だとしたらそれは複雑な文章生成には到底耐えられないかと。（十分に大きいモデルをマクロに見ると非線形性があるので）
大規模言語モデル＝LLMを目指すとして、
そもそもエンベディングテーブルとは数百億から下手すれば1兆語彙を、たった数千〜1万次元程度のベクトルで表現する、凄まじく繊細なテーブルです。
それをGELUやSwiGLUのような綺麗な活性化関数を使わずに、しかも爆速でやると。さすがにそのレベルの革新性だと根拠がない限り、飛躍が過ぎると判断されるかと。
そのやり方で、例えば1億語彙までスケールするとして2乗の1京回×数千次元をバックプロパゲーションなしで学習するというのは……さすがにきついかと。
バックプロパゲーションが要らないという主張については活性化関数がきわめて単純だから。それなら全層に渡しても「修正」できるでしょう。つまり、それはそう。
勾配消失なんて関係ない、という主張については、xorというゼロイチでしか見ないのであれば勾配消失も何もない。永遠に層を貫通するわけで、だから何層増やそうがほとんど意味が無い。つまり、それは実際には極めて浅い層だけで動いてると思われる。
「こんに」から「ち」「は」が次文予測できたとの報告だが、まぁ……それが「大規模言語モデル=LLM」にそのままスケールできると言い切れるのはなぜだろうか？
MNISTだけでなくGLUEあたりをパスしてからにした方がいいと考える次第。
----
▶︎ 私が批判されながら、誤差逆伝播に変わるアルゴリズムや精度を30%→100%まで持っていく頭のおかしい行動が取れる理由は、以下の思想があるから。
▶︎ 1. 私のNNは高次元の万能近似回路
▶︎ 3. 何十回と失敗した経験則から、原因と対策が殆どわかっている
----
わかってるとの事だけど、なんで上手くいってるのかも分かってないとも自分で明言なさっている。↓↓↓
----
▶︎ 学習が進まないの、謎。単体だと上手く動いてるはず？何が原因だろうか。
▶︎ 学習アルゴリズム開発者本人ですが、なぜ学習が進むのかは謎です。
----
既存手法があまたの失敗の上で最適だと言われてきてる経緯もよく知った方がよい。
それはごく初期にそういった様々な試行錯誤のうえで「やはりGELUやBPが現実的にいい性能が出せるし、コストも抑えてこれである」と様々な研究者が合意しているような状況。
そして、そもそもアカデミアは自分のアイディアも含めて新規手法を常に疑ってかかるのが基本姿勢。
ジャーナルに「不確実さ」を載せないためで、それが積み重なると自他問わず全ての研究が信用出来なくなってしまうため。だから懐疑的になる。個人攻撃ではない。
出さないのも自由だけど、前述の理由で信頼を得られない。これは言動に一切関わらず、その厳密性をフラットに評価してそう判断しているから。感情ではなく、論理として。
……ま、ここまで色々と蛇足なアドバイスをさせていただいたものの、この投稿に対しても、
----
▶︎ 何もわかってない人が国産LLMのやつ批判してて吹いたww
----
といったツイートをなさるのでしょう。（過去に氏がそう仰っていたので）。
先に答えておきますね。
「自分のやってることがご自分でお分かりにならないようなら、私にわかるわけがない。仰る通り。ただ、詳しい者として一般論は申し上げられる。」
まだ間に合いますので、大学院あたりまで修了なさるのがおすすめです。
Twitterに何を投稿しようと自由です。でも自分で違和感を見て見ないふりするのだけはやめたほうがよろしい。既存手法と同等に自分の手法を疑うこと、これは研究者としての基本姿勢です。
研究テーマ設定を見かけるとついつい、より良い筋でやっていけるようアドバイスしたくなってしまう性が染み付いてしまっているためでして。
もちろん、関わりのない方ですので蛇足でしかないのですが、多くの方に影響力をお持ちでありつつ、研究の進め方については独自の姿勢を持つように見受けられまして。
それはもちろん根本的には自由でありつつ、相談相手の需要がもしあればひとつの（一般的）意見をお渡しできるかなと思いキーボードを叩いた次第です。
どうか匿名でご勘弁を。
まぁ色々思うところはあり。
そのような単純な活性化関数では過学習か誤差出まくりの二択。実際、氏のツイートは正にその状態。
----
▶︎ 誤差が0.12あるだけでとんでもないエラー率になる。誤差関数が雑だから本当はもっとあるのかもしれないが、改善の余地がある。
▶︎ 問題は、どのような状態の時に学習が成功し、失敗するのかがまだ分かっていない。表現力は十分に持っているはずなのに、なぜか学習しない。
----
----
▶︎過学習ではないですね。データセットが小さいかつ、それ以外の範囲が出ないことが分かっているので。XORは2^2パターン全て学習できれば精度が100%になりますが、それは過学習とは呼ばないのと同じで、今回の初期のRNNに関しても文字数が圧倒的に少なく、パターンも決まっているので。
----
……と主張されておられた。
私が思うに、それは単純な写像を、ニューロンを使って回り道して作ってる状態。LLMは局所的にはたしかに線形写像だけど、全体で見ても線型写像だとしたらそれは複雑な文章生成には到底耐えられないかと。（十分に大きいモデルをマクロに見ると非線形性があるので）
大規模言語モデル＝LLMを目指すとして、
そもそもエンベディングテーブルとは数百億から下手すれば1兆語彙を、たった数千〜1万次元程度のベクトルで表現する、凄まじく繊細なテーブルです。
それをGELUやSwiGLUのような綺麗な活性化関数を使わずに、しかも爆速でやると。さすがにそのレベルの革新性だと根拠がない限り、飛躍が過ぎると判断されるかと。
そのやり方で、例えば1億語彙までスケールするとして2乗の1京回×数千次元をバックプロパゲーションなしで学習するというのは……さすがにきついかと。
バックプロパゲーションが要らないという主張については活性化関数がきわめて単純だから。それなら全層に渡しても「修正」できるでしょう。つまり、それはそう。
勾配消失なんて関係ない、という主張については、xorというゼロイチでしか見ないのであれば勾配消失も何もない。永遠に層を貫通するわけで、だから何層増やそうがほとんど意味が無い。つまり、それは実際には極めて浅い層だけで動いてると思われる。
「こんに」から「ち」「は」が次文予測できたとの報告だが、まぁ……それが「大規模言語モデル=LLM」にそのままスケールできると言い切れるのはなぜだろうか？
MNISTだけでなくGLUEあたりをパスしてからにした方がいいと考える次第。
----
▶︎ 私が批判されながら、誤差逆伝播に変わるアルゴリズムや精度を30%→100%まで持っていく頭のおかしい行動が取れる理由は、以下の思想があるから。
▶︎ 1. 私のNNは高次元の万能近似回路
▶︎ 3. 何十回と失敗した経験則から、原因と対策が殆どわかっている
----
わかってるとの事だけど、なんで上手くいってるのかも分かってないとも自分で明言なさっている。↓↓↓
----
▶︎ 学習が進まないの、謎。単体だと上手く動いてるはず？何が原因だろうか。
▶︎ 学習アルゴリズム開発者本人ですが、なぜ学習が進むのかは謎です。
----
既存手法があまたの失敗の上で最適だと言われてきてる経緯もよく知った方がよい。
それはごく初期にそういった様々な試行錯誤のうえで「やはりGELUやBPが現実的にいい性能が出せるし、コストも抑えてこれである」と様々な研究者が合意しているような状況。
そして、そもそもアカデミアは自分のアイディアも含めて新規手法を常に疑ってかかるのが基本姿勢。
ジャーナルに「不確実さ」を載せないためで、それが積み重なると自他問わず全ての研究が信用出来なくなってしまうため。だから懐疑的になる。個人攻撃ではない。
出さないのも自由だけど、前述の理由で信頼を得られない。これは言動に一切関わらず、その厳密性をフラットに評価してそう判断しているから。感情ではなく、論理として。
……ま、ここまで色々と蛇足なアドバイスをさせていただいたものの、この投稿に対しても、
----
▶︎ 何もわかってない人が国産LLMのやつ批判してて吹いたww
----
といったツイートをなさるのでしょう。（過去に氏がそう仰っていたので）。
先に答えておきますね。
「自分のやってることがご自分でお分かりにならないようなら、私にわかるわけがない。仰る通り。ただ、詳しい者として一般論は申し上げられる。」
まだ間に合うので、大学院あたりまで修了なさるのがおすすめです。
Twitterに何を投稿しようと自由です。でも自分を騙すのだけはやめといたほうがよろしい。既存手法と同じくらい自分の手法を疑うこと、これは研究者としての基本姿勢ですので。
伝統なのか知らんけど、 基本的に皇族の男性名の ヒト(仁) の部分は固定だからね。
つまり、 〇〇ヒト (〇仁)の、〇の部分だけが自由に変えられる部分だ。
人にやってもらってばかりの奴は何となく感じ悪いから機会があったらやろうと思っていて、こないだの飲み会で俺が一番近かったから雑炊に溶き卵入れる役やったら、手が滑って器ごと鍋の中に落とした。
慣れんことはやるべきではないという気付きを得た。
国民は自己利益のためには一丸となって増税に抵抗すべきなのに、国民同士で「あいつからもっと取れ」とやり合ってるから好き放題増税されてて馬鹿じゃなかろうか
「ヴェヘヘ〜オメーイケメンデカチ🙌ポ様にアピールしてんのかァ〜？？イケメンデカチ🙌ポ様のイケメンデカチ🙌ポはオリのもんだじぇエ〜🤡」
とかゆあれても困りますぅッ🥺
あおやまちゃんはイケメンデカチ🙌ポさんのことなんて知りませんし粗チンゲイズさんの悪口もゆってません！！🥺🥺🥺🥺
かりそめ天国でピスタチオの話をしていたが、個人的に「甘い菓子にピスタチオ全然合わない」と思っている
ピスタチオ自体はすごく好きなんだが、おかしの素材として使うと絶望的に気持ち悪くなる。クサイ
脂分の多い豆と甘みの組み合わせが苦手なのかもしれない
ヘーゼルナッツとかも嫌い。ジャンドューヤ嫌い
俺はその日、昼のピークが終わって、厨房の片隅で一息ついていた。
油の匂いがまだ鼻に残っている。ポテトの音も止み、静かな時間。
俺は休憩の前に、自分で買った6個入りのたこ焼きをバックヤードの棚の上に置いた。
「あとで食べよう」と思って。
ソースと青のりの香りが漂って、ちょっと幸せな気分になってたんだ。
──が、10分後。
戻ってきたら、容器の中は空だった。
でも、串もない。ゴミ箱を見ても、跡形もない。
完全に食われてる。
厨房にいたのは3人。
でも昨日、給料前で昼飯を抜いてたって言ってたな。
そして新人の圭吾。
まだ入って一週間。仕事は遅いけど、よく厨房のつまみ食いをしてる。
俺はごみ箱をもう一度見た。
──ソースの色だ。
たぶん、食べるとき外して、落としたんだろう。
「……犯人、圭吾だな」
そう思った瞬間、バックヤードのドアが開いて、
悪びれもせず笑う圭吾を見て、
俺は言葉を失った。
そうだな。
立体映像（3D）に加え風、水しぶき、座席の揺れ、においなどの効果を組み合わせたより感覚に訴えかける体験型のＡＶが必要なんだよ。
体温もつたわるとより良い。
家を無くすのは少しだけ悲しいけどじゃあ本気で取り戻したいかというと気持ちはないかな
俺の家は妹に引き継がせて、今はリフォームの末に貸家になるところ
数ヶ月前に本だけ引き上げてきた
今どうなっているかわからないけど、これから見知らぬ人達の住まいになると思えばそれはそれで良いとはおもう
彼女もいなければ友達も少ない、1Kのロフト付きの部屋で1人で暮らしています。
たまにロフトに上がると、足の裏にビッシリほこりがついてビックリします。
夜はスーパーで惣菜の唐揚げ(たまに白身魚フライ)を買って、冷凍ご飯をチンして、塗装が剥げたダイソーの器でインスタント味噌汁を作って食べています。
休みの日は何度も見たYouTubeやNetflixのドラマを再視聴し、惰性的に過ごしています。
四年制の大学を出て、親に学費を払ってもらったうえで、日々こんな生活を送っています。
ふと自分は何のために生まれてきたんだろうと思うこともあります。
特別仕事ができるわけでもないし、なにかスキルがあるわけでもない、ルックスがいいわけでもない。
だから自ずと死にたくなくなるんです。
今目の前に「みんなの記憶から消えていなくなれるボタン」があるんだったらすぐに押します。
そういう人も多いと思います。
あなたの母親が自分の子供をそう見ていたかはわからないけど、あなたが子育てをエンドコンテンツと捉えたりそういう発言ができるようになったのは時代が関与しているよね
多分昔なら子供が嫌いでもそれを口に出したり、他の価値観に照らし合わせることもできなかったはずだ
子供は可愛いし無償の愛情を注ぐ対象であるなんてのは、子育てを本質的に知らない父親の目線か、あるいは責任を取ることのない祖父母目線だろう
俺は子供可愛いけど憎たらしくて蹴りたくなるシーンは幾度となくある
あなたみたいに面白い表現はできないけど、親が全員同じ価値観で生きているとは思わない
子供作ることに無駄に意味を求め、自分の遺伝子だからとか社会のためとか、そういう大義名分や将来性とか考えるのやめたほうがいいんじゃないかな
馬鹿でいいんだよ
男の子の次は女の子とか、兄弟いると楽しいから増やした方がいいとか、名前で護廷十三隊作ろうかそんなくだらない理由でいいんだよ
そのほうが多分みんな楽だし幸せかな
9
