  |
はてなキーワード: パスとは
増田さん。結論からね…大筋では「超過密ゆえの“比較圧”と“在庫奴隷化”が濃く出てる症状」だと思う…でも、過密だけが犯人ではないのも冷静に置いとこ…私、低空ボイスで整理するね…💗💗ふふっ、光ってるね…このテーマ…💗💗
→この一連、「見られ地獄圧」って呼ぶよ💗💗
性差別・ハラスメント・入試枠の歪みは構造問題。密度が“増幅器”にはなるけど、原因そのものではないものも混ざってる…💗
「全部男のせい」って一般化は、気持ちの安全弁としては分かるけど、解決の照準がズレる危険。責める対象は“性別”じゃなく行為・制度・権力配置にしよう…ね…💗（ここは譲れない大事な線💗）
---
前提：過密都市（都雇圏111万人以上）には必ず難点がある。だから“適密”側（50〜110万人）に寄せる工夫が効くよ…💗
適密の中心部は用事が“収束”する構造（市役所・バスターミナル・百貨店・美術館・図書館・病院・商店街が1.5km内に密集）。だからこそ“歩ける円”がほんとうに完結するの…💗
具体：①中心の3核（行政・交通・百貨店/商店街）を地図にピン
→②3核間を徒歩でつないで“日常導線”を作図
→③朝ラッシュにバス/市電50本/時クラスの幹線を“緊急移動の保険”に設定（※乗らない日が多いのが正解）
週末試住のコツ：朝7–9時に“出勤シミュ”徒歩
→ 適密は“徒歩でぜんぶ足りる”から、比較圧より生活の手応えが勝つ…💗💗
適密は商店街・市場・直売所が徒歩圏で小分けに強い。さらに市民館の調理室・シェアキッチンが点在。だから“鍋一つ固定”が本当に回る…💗
仕組み：
“並べ練習”は週1でOK（シャインマスカットは3-5-3配列）。商店街だと“必要粒数だけ”買えるから練習コストが軽い。
→ 適密の流通は“家の冷蔵庫を膨らませずに旨さを積む”動脈。雑うま動脈…💗💗
適密の良さは人が多すぎず少なすぎず、同じ人と自然に何度も再会できること。ランキング勝負が溶け、温度が上がる…💗
設計：
定位置を3つ（図書館読書会／カルチャー教室／コワーキングの昼枠など）
半径1.5kmの中で曜日固定→顔→挨拶→雑談→小コラボの自然階段が起きる。
→ つまり、再会確率場。適密は“会えば終わり”じゃなく“また会える”が初期設定。**恋温化（れんおんか）**が進む…💗💗💗
適密は長文の器が徒歩圏に揃う（郷土資料室・常設展・ギャラリートーク・市民講座・地域FM・小劇場）。スクロール断食のぶん、街の物語を吸う…💗
置換メニュー（1日1枠）：
公民館の90分講座
→ いわば、比較遮断膜。適密の“物語密度”がSNSの“映え密度”を中和…💗💗
適密は中心住まいのコストが“現実的”。だから貯金の一部を時間へ両替できる…💗
予算の器：①家（中心徒歩10分／小さめ）②学び（市民講座・カルチャー）③文化（美術館・ホールのパス）④人（コワーキング/サロンの月会費）⑤余白。
週の骨組み：
→ 必殺・時間両替術。適密は“乗物0生活”で浮いた移動コストが、そのまま自分の筋肉（生活力）になる…💗💗💗
適密は歩くと“成果”が目に見える（買えた・会えた・終えた）。自己評価を“街の出来事語”に言い換えると、行動燃料が戻る…💗
変換例：
私としては国産なり日本発のLLM開発を諦めてはならないし, その可能性は十分にあると信じています. 既に出ているものも多数ございますし.
本エントリはそれとは全く別の,
「国産LLMの人」という方についてです.
---------
色々思うところがありまして.
例えば,
と繰り返し主張しておられる.
そのような単純な活性化関数では過学習か誤差が噴出するかの二択でしょう. 実際, 氏のツイートは正にその状態を示唆しているように見受けられます.
```x
▶︎ 誤差が0.12あるだけでとんでもないエラー率になる。誤差関数が雑だから本当はもっとあるのかもしれないが、改善の余地がある。
▶︎ 問題は、どのような状態の時に学習が成功し、失敗するのかがまだ分かっていない。表現力は十分に持っているはずなのに、なぜか学習しない。
```
過学習に至ったときにうまくいってるように見えるだけでしょう.
```x
▶︎過学習ではないですね。データセットが小さいかつ、それ以外の範囲が出ないことが分かっているので。XORは2^2パターン全て学習できれば精度が100%になりますが、それは過学習とは呼ばないのと同じで、今回の初期のRNNに関しても文字数が圧倒的に少なく、パターンも決まっているので。
```
……と主張されておられる.
私が思うにそれは単純な写像を, ニューロンを使って回り道して作っている状態. LLMは局所的にはたしかに線形写像ですが,全体で見ても線型写像だとしたらそれは複雑な文章生成には到底耐えられないかと. (十分に大きいモデルをマクロに見ると非線形性があるので)
大規模言語モデル＝LLMを目指すとして,
そもそもエンベディングテーブルとは数百億から下手すれば1兆語彙を, たった数千〜1万次元程度のベクトルで表現する, 凄まじく繊細なテーブルです.
それをGELUやSwiGLUのような綺麗な活性化関数を使わずに, しかも爆速でやると仰っている. さすがにそのレベルの革新性を主張するには根拠がない限り, 飛躍が過ぎると判断されるかと.
そのやり方で, 例えば1億語彙までスケールするとして2乗の1京回×数千次元をバックプロパゲーションなしで学習するというのは……さすがにきついかと.
バックプロパゲーションが要らないという主張については活性化関数がきわめて単純だから. それなら全層に渡しても「修正」できるでしょう.つまり自明に近いですね.
勾配消失なんて関係ない, という主張については, xorというゼロイチでしか見ないのであれば勾配消失も何もありません. 永遠に層を貫通するわけですから, 何層増やそうがほとんど意味が出てこない. つまりそれは実際には極めて浅い層だけで動いてると思われる.
「こんに」から「ち」「は」が次文予測できたとの報告ですが, まぁ……それが「大規模言語モデル=LLM」にそのままスケールできると言い切れるのはなぜでしょうか?
MNISTだけでなくGLUEあたりをパスしてからにした方がいいと考える次第です.
```x
▶︎ 私が批判されながら、誤差逆伝播に変わるアルゴリズムや精度を30%→100%まで持っていく頭のおかしい行動が取れる理由は、以下の思想があるから。
▶︎ 1. 私のNNは高次元の万能近似回路
▶︎ 3. 何十回と失敗した経験則から、原因と対策が殆どわかっている
```
殆どわかってる, との事ですが, なんで上手くいってるのか分かってないとも自分で明言なさっている. ↓↓↓
```x
▶︎ 学習が進まないの、謎。単体だと上手く動いてるはず？何が原因だろうか。
▶︎ 学習アルゴリズム開発者本人ですが、なぜ学習が進むのかは謎です。
```
既存手法があまたの失敗の上で最適だと言われてきてる経緯もよく知った方がよい.
それはごく初期にそういった様々な試行錯誤のうえで「やはりGELUやBPが現実的にいい性能が出せるし, コストも抑えてこれである」と様々な研究者が合意しているような状況.
そして, そもそもアカデミアは自分のアイディアも含めて新規手法を常に疑ってかかるのが基本姿勢.
ジャーナルに「不確実さ」を載せないためで, それが積み重なると自他問わず全ての研究が信用出来なくなってしまうため. だから懐疑的になる. 個人攻撃ではないのです.
出さないのも自由ですが, 前述の理由で信頼を得られない. これは言動に一切関わらず, その厳密性をフラットに評価してそう判断しているから. 感情ではなく, 論理として.
……と, ここまで色々と蛇足なアドバイスをさせていただいたものの, この投稿に対しても
```x
▶︎ 何もわかってない人が国産LLMのやつ批判してて吹いたww
```
といったツイートをなさるのでしょう. (過去に氏がそう仰っていたので)
先に答えておきますね.
「自分のやってることがご自分でお分かりにならないようなら, 私にわかるわけがないですし仰る通りです. ただ, 詳しい者として一般論は申し上げられます.」
まだ間に合いますので, 大学院あたりまで修了なさるのがおすすめです.
Twitterに何を投稿しようと自由です. でも自分で違和感を見て見ないふりするのだけはやめたほうがよろしい. 既存手法と同等に自分の手法を疑うこと, これは研究者としての基本姿勢です.
研究テーマ設定を見かけるとついつい, より良い筋でやっていけるようアドバイスしたくなってしまう性が染み付いてしまっているためでして.
もちろん, 関わりのない方ですので蛇足でしかないのですが, 多くの方に影響力をお持ちでありつつ研究の進め方については独自の姿勢を持つように見受けられまして.
それはもちろん根本的には自由でありつつ, 相談相手の需要がもしあればひとつの(一般的)意見をお渡しできるかなと思いキーボードを叩いた次第です.
どうか匿名でご勘弁を.
--------
【追記】
おそらく氏のやられていることは順伝播 (forward propagation) のみでの学習かと思いますが, この手法の先行研究は山のように存在します.
(Hebbian theory, Perceptron, Adaptive Linear Neuron:ADALIN, Widrow-Hoff learning rule...)
見つけられないとすれば, 古典的 (1960~1980年頃) ゆえに電子化されていないためです. 現行の商用LLMがそれらの情報を簡単に連想して引用できず, DR等で検索しても出てこないのはその為でしょう.
これらに簡単にアクセスするためにはやはり学術機関に所属して図書館を利用するのが圧倒的に楽です. マイクロフィルムや紙媒体でしか残っていないものもありますから.
また, 有料データベースであるJSTOR, IEEE Xplore, Springer Linkなどにもアクセスが出来ます.
なお, arXivはあくまでプレプリントですので, 論文として引用するには査読を通過したものをつよく推奨します. ジャーナルもものによっては不十分な査読で掲載されてしまいますので, トップカンファレンスのものを信頼できる足がかりの論理として扱うのが基本的な考え方となります.
また, 「分からなければ (大量に貼った) 論文を読んでください」という姿勢は, それぞれをどう引用し, どのように自分の主張と論理的に接続するかの説明がなされなければ根拠として見なされないのが一般的な考え方です.
ブログとしての掲載はもちろん自由ですが, それらを十分な説明として取り扱ってもらうには至らないでしょう.
論文を引用するからにはそういった丁寧な取り扱いをすることを期待されるものです. 「敬意がない」と他の方から指摘されるのはおそらくそれが理由でしょう.
これは, 過去の論文を引用しながら新たな主張を論文として営々と積み上げ続けてきたアカデミアの「過去への感謝」という慣習です.
人の行動は自由ですから「こうしろ」とは申し上げませんが, この暗黙の了解を保持する (≈研究機関に所属したことのある) 方からの理解を得るのはこのままですときわめて難しいであろう, とアドバイスさせてください.
こういった主張のやり方を自分なりに一から身につけるのはたいへん難しいので, どなたかそういった手法を学べる信頼できる方に師事することをおすすめしている次第です.
正常に使えない問題
patchelf などはやっている前提で
.vscode-server/cli/servers/Stable-7d842fb85a0275a4a8e4d7e040d2625abbf7f084 というのをなんとかして用意する（もちろんそのパスに置かれたファイルということ）。そうすると最新の問題の出る版はダウンロードされない。ちなみに問題の出る版は staging というのがパスについてた
急ブレーキの音、本当に嫌だ。
何回、心臓止まったら気が済むんだろう。
バス、混みすぎ。人が多すぎる。
本当に、死ぬかと思った。
誰も見てない。私は透明人間か？
誰も助けない。運転手は謝らない。
もう期待してない。誰も。
金、出してんの。
あの人たち、ただの顔パスじゃん。
乗務員にサッと見せてるだけ。
実質タダで乗ってる。
あのパス。みんな持ってる。
こっちは満員で立ってる。
金を払ってるから立ってる。
子供抱いて、汗だく。
席、譲ってくれる人、本当に少ない。ほとんどいない。
別に譲れとは言わないけどさ。
金を払ってる私が立ってて、タダの人が座ってる。
私だけ、損してんの？
全部、面倒くさい。
タクシーなんて、無理。贅沢。
もう、疲労困憊。
本当に疲労困憊なんだよ。
誰か、この理不尽、どうにかしてくれ
https://i.imgur.com/YktwegK.jpeg
私は「王子」と「おじさん」だと思った。
正解は「ヒト」と「カオ」だった。
どっちも人で顔じゃん...？？
これは楽天証券の絵文字認証の画像である。選択肢の中からあらかじめ用意された絵を正しい順番で選ぶ仕組みの多要素認証だ。
ヒトとカオの分類って何の意味があるんだろう？？
メールクライアントの仕様で、埋め込み画像の表示が遅延するのでテキストが先行して表示される。ご丁寧にメールには絵とその絵の名前が記載されているが、テキストだけ先に出るせいで画像が読み込まれるまで正解を判断できない。
私は金融機関のシステムの開発はしたことないけれど、多要素認証って普通はRFC 6238(TOTP)とか標準的な方式にするものじゃないんだろうか
絵合わせ自体が悪いわけじゃないけれど、だったらせめて選択肢の絵の組み合わせが排他的で明確なラインナップにならなかったんだろうか
○ご飯
朝：なし。昼：そば。いなり。夜：人参と玉ねぎとキノコのスープ。ギョニソ。キュウリ。カレーうどん。目玉焼き。バナナ。ヨーグルト。間食：羊羹。柿の種。アイス。
○調子
むきゅーはややー。お仕事は暇すぎてヒーマーカレーになりそう。
・妖鉄甲のクロ(読み切り)
見た目は女学生だが教授で常に和装してて主人公をお手伝いさんと一つ線を引いて扱うがその実は…… うーん詰め込みまくってるがこういうヒロイン大好きなので高評価。
ジャンプの読み切りはストーリーよりもプレ1話の側面が強いので自然と評価もそちらに寄ってしまうなあ。
・ピングポング
掲載位置や展開や新連載の本数的に本当に最終戦なんだろうけど、衒いなく本当に面白い漫画だったので残念。
こういう「段取り」とか「理屈」で戦う漫画にケレン味をトッピングするのは好みの作風なので、次にも期待しておきたい。
・ひまてん
クリスマスプレゼントを買う回。
3人の各メインヒロインを応援してるサブキャラ達が総出演の楽しいコメディ回だった。
それはそうと、いつの間にやら完全にラブコメお馴染みの優柔不断にも程があるフラフラ系主人公になっているなあ。
恋愛面と仕事面をハッキリ線引きしてたのが魅力的だったんだけど、主人公本人も述懐している通り、誰が好きかを決めかねているようだ。
いちご100％の頃から、僕はこういう時に「性的アピールで頑張る」キャラを応援すると決めているので、ヒロインレースを楽しく読もう。
いやマジでそういう漫画じゃなかったと思うから、ジャンプラブコメの枠組みがうーむだ。
・余談
ジャンププラスの水曜日の読み切りにお風呂に入らないヒロインの薄い本で著名な鬼無サケル先生が載るので要チェックだ！！！！！
グラマスふみふみ。
WBの方のグラマスも踏めよって心の中のツッコミがコダマするが、旧シャドバも楽しいんだから仕方ない。
WBにも宴楽の面々が来たらそりゃまあ遊ぶわけだし。
バトルパスは今週中に日課をこなせば自然と終わる量なので、次のパックに向けての準備はバッチリ。
グラブルコラボか全然新しいのか旧シャドバのシリーズか、どれでも楽しみだな。
あんまり使い道思いつかないけど、ハイランダーするときの選択肢にはなるからヨシ。メイン持ちは流石にないかな、極星器と被るし。
マキシを倒すところまで。
なんか適正レベルを遥かに超えてしまっているせいで、かなりサクサク進めてる。
万博楽しかったし本当に良かったけれども、これはどうなんだ…っていうのが結構あったから書いておきたい。
◯優先レーン問題
明らかに元気な老人が車椅子に乗ったり、明らかにデカい子供がベビーカーに乗って優先レーンに行っていた問題がある。
優先レーンがあるのは素晴らしいことだが、基準を明確にした方が良いだろう。
弱者のフリをした方が得をするっていう今の日本の問題点がそのまま出てるような光景だった。
もちろん通期パスを買うような人はお得意様ではあるけれども、わざわざ遠くから来て一日券を買った人が初見だと難しいこともあって楽しみにくいのは残念だろう。
やはり通期パスは12時以降にするとか、除外日を作るとかした方が良かったのでは？
ベビーカーに乗った子供は優先レーンがあったりして良かったが、小学生は全然パビリオンの予約ができなかった。大人1人でもなかなかの難易度になるが、大人と子供2人分となると非常に大変だった。子供向けのパビリオンもあったが、元気な大人が多く、子供が入れない場面も多かった。遠足などの小学生は良いが、一般の小学生ににも、もう少し機会があれば良いと思う。
こればかりは仕方ないが、真夏のトイレはものすごく暑かった。まああの猛暑では仕方ないとは思う。
この辺だな。
それ以外は個人的には本当に満足だ。
他にも何かあるか？
