  |
名前を隠して楽しく日記。
人にやってもらってばかりの奴は何となく感じ悪いから機会があったらやろうと思っていて、こないだの飲み会で俺が一番近かったから雑炊に溶き卵入れる役やったら、手が滑って器ごと鍋の中に落とした。
慣れんことはやるべきではないという気付きを得た。
国民は自己利益のためには一丸となって増税に抵抗すべきなのに、国民同士で「あいつからもっと取れ」とやり合ってるから好き放題増税されてて馬鹿じゃなかろうか
「ヴェヘヘ〜オメーイケメンデカチ🙌ポ様にアピールしてんのかァ〜？？イケメンデカチ🙌ポ様のイケメンデカチ🙌ポはオリのもんだじぇエ〜🤡」
とかゆあれても困りますぅッ🥺
あおやまちゃんはイケメンデカチ🙌ポさんのことなんて知りませんし粗チンゲイズさんの悪口もゆってません！！🥺🥺🥺🥺
まぁ色々思うところはありすぎるのだが、
そんな単純な活性化関数では過学習か誤差出まくりの二択。実際、氏のツイートは正にその状態。
----
▶︎ 誤差が0.12あるだけでとんでもないエラー率になる。誤差関数が雑だから本当はもっとあるのかもしれないが、改善の余地がある。
▶︎ 問題は、どのような状態の時に学習が成功し、失敗するのかがまだ分かっていない。表現力は十分に持っているはずなのに、なぜか学習しない。
----
xorで2^2の全て学習できれば精度が100%になり、それは過学習とは呼ばない……と主張されてるけど、
じゃあこう言おうか、それはニューロンでも何でもなくて写像を回り道して作ってる状態。LLMは局所的にはたしかに線形写像だけど、全体で見ても線型写像だとしたらそれは複雑な文章生成には到底耐えられないかと。
だいたい、数百億から下手すりゃ1兆語彙を、たった数千〜1万次元程度のベクトルで表現する、凄まじく繊細なテーブルなんだよね、それをGELUやSwiGLUのような綺麗な活性化関数を使わずに、しかも爆速でやる？うーん、ショベルカーを使ってナノメートル単位でシリコンウェハー削るようなもんだよ。すごいを通り越して、さすがにそれは……ねぇ。
しかもそのやり方で例えばじゃあ1億語彙までスケールするとして1京回×数千次元をバックプロパゲーションなしで学習すると……？さすがにきついよそれは。TSUBAMEや富嶽に電卓で挑むようなもん。
でうん、バックプロパゲーションが要らないのは関数が単純すぎるから。そりゃ全層に渡しても「修正」できるでしょうね。
勾配なんて関係ないって言ってるのもねぇ。そりゃxorなどというゼロイチでしか見ないなら勾配消失も何もないからね。永遠に層を貫通するわけで、だから何層増やそうが意味が無い。つまり、それは実際には極めて浅い層だけで動いてると思われる。
「こんに」から「ち」「は」が次文予測できて喜んでるの、まぁうん……で、それが「大規模言語モデル=LLM」になると言い切れるのはなぜ？
MNISTじゃなくてGLUEあたりパスしてからにした方がいいと思うよ。。
----
▶︎ 私が批判されながら、誤差逆伝播に変わるアルゴリズムや精度を30%→100%まで持っていく頭のおかしい行動が取れる理由は、以下の思想があるから。
▶︎ 1. 私のNNは高次元の万能近似回路
▶︎ 3. 何十回と失敗した経験則から、原因と対策が殆どわかっている
----
わかってるとの事だけど、なんで上手くいってるのかも分かってないって自分で明言なさってる。
----
▶︎ 学習が進まないの、謎。単体だと上手く動いてるはず？何が原因だろうか。
▶︎ 学習アルゴリズム開発者本人ですが、なぜ学習が進むのかは謎です。
----
既存手法があまたの失敗の上で最適だと言われてきてる経緯もよく知った方がいい。
大丈夫、論理的な根拠付きでなければアカデミアは「そもそも読もうとしない」ので。出しても問題ない。
……ま、この投稿に対しても「匿名主はなんも分かってない」って氏はツイートするんでしょうね。
先に答えておきますね。「自分のやってることもがご自分でわかってないなら、私にわかるわけがない。」
Twitterに何を投稿しようと自由だ。でも自分を騙すのだけはやめといたほうがいい。既存手法と同じくらい自分の手法を疑うこと、これは研究者としての基本姿勢。
かりそめ天国でピスタチオの話をしていたが、個人的に「甘い菓子にピスタチオ全然合わない」と思っている
ピスタチオ自体はすごく好きなんだが、おかしの素材として使うと絶望的に気持ち悪くなる。クサイ
脂分の多い豆と甘みの組み合わせが苦手なのかもしれない
ヘーゼルナッツとかも嫌い。ジャンドューヤ嫌い
俺はその日、昼のピークが終わって、厨房の片隅で一息ついていた。
油の匂いがまだ鼻に残っている。ポテトの音も止み、静かな時間。
俺は休憩の前に、自分で買った6個入りのたこ焼きをバックヤードの棚の上に置いた。
「あとで食べよう」と思って。
ソースと青のりの香りが漂って、ちょっと幸せな気分になってたんだ。
──が、10分後。
戻ってきたら、容器の中は空だった。
でも、串もない。ゴミ箱を見ても、跡形もない。
完全に食われてる。
厨房にいたのは3人。
でも昨日、給料前で昼飯を抜いてたって言ってたな。
そして新人の圭吾。
まだ入って一週間。仕事は遅いけど、よく厨房のつまみ食いをしてる。
俺はごみ箱をもう一度見た。
──ソースの色だ。
たぶん、食べるとき外して、落としたんだろう。
「……犯人、圭吾だな」
そう思った瞬間、バックヤードのドアが開いて、
悪びれもせず笑う圭吾を見て、
俺は言葉を失った。
そうだな。
立体映像（3D）に加え風、水しぶき、座席の揺れ、においなどの効果を組み合わせたより感覚に訴えかける体験型のＡＶが必要なんだよ。
体温もつたわるとより良い。
家を無くすのは少しだけ悲しいけどじゃあ本気で取り戻したいかというと気持ちはないかな
俺の家は妹に引き継がせて、今はリフォームの末に貸家になるところ
数ヶ月前に本だけ引き上げてきた
今どうなっているかわからないけど、これから見知らぬ人達の住まいになると思えばそれはそれで良いとはおもう
彼女もいなければ友達も少ない、1Kのロフト付きの部屋で1人で暮らしています。
たまにロフトに上がると、足の裏にビッシリほこりがついてビックリします。
夜はスーパーで惣菜の唐揚げ(たまに白身魚フライ)を買って、冷凍ご飯をチンして、塗装が剥げたダイソーの器でインスタント味噌汁を作って食べています。
休みの日は何度も見たYouTubeやNetflixのドラマを再視聴し、惰性的に過ごしています。
四年制の大学を出て、親に学費を払ってもらったうえで、日々こんな生活を送っています。
ふと自分は何のために生まれてきたんだろうと思うこともあります。
特別仕事ができるわけでもないし、なにかスキルがあるわけでもない、ルックスがいいわけでもない。
だから自ずと死にたくなくなるんです。
今目の前に「みんなの記憶から消えていなくなれるボタン」があるんだったらすぐに押します。
そういう人も多いと思います。
あなたの母親が自分の子供をそう見ていたかはわからないけど、あなたが子育てをエンドコンテンツと捉えたりそういう発言ができるようになったのは時代が関与しているよね
多分昔なら子供が嫌いでもそれを口に出したり、他の価値観に照らし合わせることもできなかったはずだ
子供は可愛いし無償の愛情を注ぐ対象であるなんてのは、子育てを本質的に知らない父親の目線か、あるいは責任を取ることのない祖父母目線だろう
俺は子供可愛いけど憎たらしくて蹴りたくなるシーンは幾度となくある
あなたみたいに面白い表現はできないけど、親が全員同じ価値観で生きているとは思わない
子供作ることに無駄に意味を求め、自分の遺伝子だからとか社会のためとか、そういう大義名分や将来性とか考えるのやめたほうがいいんじゃないかな
馬鹿でいいんだよ
男の子の次は女の子とか、兄弟いると楽しいから増やした方がいいとか、名前で護廷十三隊作ろうかそんなくだらない理由でいいんだよ
そのほうが多分みんな楽だし幸せかな
正直、子どもは嫌いだし、子育ては面倒だし、趣味の時間は減るし、お金の使い道も制限される。
性根がおひとり様体質なので、かなりキツい。
こんな人間でもなんとか子育てできてるんだよ、っていうのを共有したい。
でも、子どもはうるさそうだし、面倒くさそうだし、正直嫌いだった。
1人目のときは初めての育児だったから、「できなかったことができるようになる」という意味で楽しかった。
でも2人目は楽しくない。
作業ゲーみたいなもんだ。
多分、自分は「知らないこと」や「想像を超えること」が好きなんだと思う。
2歳になって言葉も流暢になってきて、会話ができるようになると、
表情や話し方、身振りを少し変えるだけで大体予想通りに動いてくれる。
民法877条に「直系血族及び兄弟姉妹は互いに扶養の義務がある」と書いてある。
生物として欠陥まみれだけど、法律があるから仕方なく子育てしている。
でも、できることならやめたい。
どんなに幸せだっただろう。
そんなことを毎日考えながら過ごしてる。
一応言い訳しておくと、パートナーから見れば「ちゃんと親の役割を果たしてる」らしい。
「きちんと愛情を持って接しているように見える」とも言われる。
まあ、そう見えるならそれでいいと思う。
昔から何をやってもそれなりにできた。
子育ても多分、それなりにできてるし、これからもそれなりにやっていけると思う。
多分これを読んでる人の中にも、「昔から何をやってもそれなりにできた人」がいると思う。
理不尽なことも多いし、制約も多い。
自分が主役じゃないから、お金も時間も自分のためには使えない。
主役のままでいたい気持ちはよく分かる。
人生は一度しかプレイできないゲームみたいなものだし、私もそういうタイプだ。
メインコンテンツとして子育てを楽しめる人は、真っ当な人間だと思う。
9
