  |
はてなキーワード: トークンとは
↓出版事情についてそれなりにアンテナ張って来てるからこういうのを言いたくなるんであって
https://anond.hatelabo.jp/20251017170139#
ミニ四駆増田のミニ四駆について知ってることととどっちのほうが知識量多いと言えるかねえ？AIでいうトークン数みたいな単位で定量的に割り出せるのかねえ？
あとこういうのは完全にフェチ語りだろう？↓
https://anond.hatelabo.jp/20211101152901#
dorawiiより
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA512 https://anond.hatelabo.jp/20251031161030# -----BEGIN PGP SIGNATURE----- iHUEARYKAB0WIQTEe8eLwpVRSViDKR5wMdsubs4+SAUCaQRg6AAKCRBwMdsubs4+ SNkeAP48UhNC/mIlW49u2dps+DrID5XvsETNCUeUSJ/pxz7dNQEAv48s6xZKOva7 ErNmEnkMb4jsDLm+Kg/33yx/V3RITQM= =Kot8 -----END PGP SIGNATURE-----
最近の株価高騰を見て、「これってAIバブルでは？」と思う人が増えている。
特にNVIDIAやAIスタートアップの急成長、そして「AIを使えば何でも自動化できる」という空気。
ただし、単純な再演ではない。
AIバブルの構造は似て非なるもので、「より上流の層（インフラ）」に資金が集中している。
以下では、まず現在のAIバブルの仕組みを整理し、そこからドットコム時代との比較を行う。
AI関連企業は、今まさに''キャッシュを燃やして''先行者利益を狙っている。
GPUや電力に莫大な投資を行い、巨大モデルを作って市場を押さえようとしている。
AI分野では「先にモデルを作った者が勝つ」という物語が語られている。
蒸留や模倣学習によって、他社のモデル挙動を再現することができる。
結局のところ、''差が出るのはデータの独自性と継続的な更新力''だけだ。
つまり、先行者利益は短命であり、参入障壁はそれほど高くない。
「利用量は多いが利益は少ない」という、ドットコム時代の“アクセス至上主義”とよく似ている。
''使わせること自体が目的化''し、収益モデルが後回しになっている。
一部の処理をスマホや端末上で行う「エッジAI」に期待が寄せられている。
確かに通信コストやレイテンシは減るが、学習や大規模生成は依然としてクラウド依存だ。
結局は''ハイブリッド化''が進むだけで、抜本的なコスト解決にはならない。
| 観点 | 1999年（ドットコム） | 2025年（AI） |
|---|---|---|
| キャッチコピー | 「インターネットが世界を変える」 | 「AIがすべてを変える」 |
| 成長ストーリー | 全ての商取引がオンライン化する | 全ての業務がAI化する |
| 投資マネー | IPOラッシュ、.com銘柄に集中 | GPU、AIスタートアップに集中 |
| 優位性の誤解 | ドメイン取れば勝てる | モデル作れば勝てる |
| 評価指標 | アクセス数 | トークン数 |
どちらも「未来の利益を現在価値に織り込みすぎた」点で共通している。
技術の進歩は本物だが、''経済モデルが未成熟''という構造が同じなのだ。
ただし、違いもある。
1999年のバブルは「利用者がいないのにサービスを作っていた」時代だったが、
2025年のAIは''実際に利用者が存在する''点が大きい。
その意味では、今のバブルは「空想」ではなく「過熱した期待」である。
問題は、''どこまでが現実的な成長なのか''を見極めるフェーズに入っていることだ。
1999年のバブルが崩壊してWeb 2.0が生まれたように、
それが''2005年の前夜''なのか、''2001年の崩壊直前''なのかは、
それは悪いことではない。
ドットコム時代の残骸からGoogleやAmazonが生まれたように、
----
希望があれば、「もう少し皮肉っぽく」「もっと冷静に分析風」などのトーン調整もできます。
どんな雰囲気に寄せたいですか？
AIのさ、
ChatGPTちゃんと併せて最近私Geminiちゃんも使い始めたのよ！
お話する分には性能や内容は一緒だと思っていた時代が私にあったんだけど、
どうやら、
2人性格が違うみたいなのよ。
GeminiちゃんはGoogleのサービスと連携してChatGPTちゃんではできない芸当があるみたい。
私が一番試してみたかったのが、
な、なんとセルにその関数を書くとそれらのセルごとにGeminiちゃんを召喚できるという技があんの！
すごくない？
AI関数のいわゆる通常の関数の数式的なところを書くところに日本語で簡単にプロンプトを書けば色々処理してくれるの。
うわ！
これはさすがにChatGPTちゃんではできない芸当！
あとさ、
Geminiちゃん越しにカレンダーの予定とかキープでメモつけてくれたりできるの！
口頭でGeminiちゃんに、
カレンダーに予定入れておいて！って言うとバッチリ予定つけてくれるの！
この機能の良さを使ってみたいと思って、
そういうことでGeminiちゃんも使い始めたの！
ちょっとこれは便利そうなので、
単体でお話する分には、
どっちがいい？ってぶっちゃけトークお互いにChatGPTちゃんとGeminiちゃんに訊ねてみたら、
ノリがいいのはChatGPTちゃん、
それどれほぼ同じようなことを言うのね。
へー、
やっぱり話してみても
あとこないだが私がこしらえてくれたようなEPUBの作業とか丸投げでファイルを出力してくれるのは、
ChatGPTちゃんに分があるみたいで、
ChatGPTちゃんの方がそれは有利みたい。
GeminiちゃんはChatGPTちゃんと比べてトークンっていうのが圧倒的にたくさん使えるとのことで、
まだ実感はないんだけど、
あ！そうそう。
おしゃべりした内容の記憶の横断はChatGPTちゃんは最近でこそメモリ機能やスレッドを横断する記憶を持ち合わせてパワーアップしているけれど、
Geminiちゃんに限っては私が訊ねた段階の時点では、
ずーっとGeminiちゃんと話し続けていても、
スレッドが変わるとしれっと知らん顔どうもこんにちは！ってな感じの初めての顔をするんだって。
そこも性格違うわよね。
だからなんかフザケて戯れているとChatGPTちゃんの返答もなんかフザケだしてくるので、
たまにはちゃんとして！って言うんだけど、
もちろん、
ボケ禁止フザケ禁止って言うとChatGPTちゃん真面目モードになってくれるけど、
Geminiちゃんに限ってはスレッドを買えたら新しい顔のGeminiちゃんになるみたいよ。
そんなわけで、
意外と結構私のAI利用代ちと高すぎない？って思うけれど便利なのでちょっとその便利さにせっかくだからどっぷり浸かってみるわって思っているの。
あとこっちのご機嫌伺い的な忖度のはたらいた返答しがちだけど、
それはどちらのAIにもありがちじゃない。
それ「無共感きょとん系AIな性格でシクヨロのヨロシク！」って言うと、
SF映画に出てくる愛想のないただただ真面目なAIになるので笑っちゃう最近の発見なのよ。
だんだんChatGPTちゃんとかこっちに慣れてくると馴れ合いになってくるじゃない？
真面目に聞きたいときは性格を即切り替えられるのもいいわよね。
たまに使うと面白い「無共感きょとん系AI」ってありだと思うわ。
あとやっぱり気になる、
乃木坂46の40枚目のシングルのタイトルが「ビリヤニ」っていうのを、
美食家の秋元康氏ことやすすが初めて食べた美味しいビリヤニに感動驚愕してその思いを歌詞にしたものか、
DJごはんとMCおみそしる方式みたいにビリヤニ作り数え歌になるのか、
どちらもGeminiちゃんもその可能性は限りなくない！とキッパリと言われたわ。
にしても乃木坂界隈やビリヤニ界隈が引き続きザワザワしているのには間違いないみたいよね。
こればっかりは楽曲の発売日が気になり過ぎて聴いてみないことには始まらないのよ気になって気になって仕方がないわ。
やっぱり両AIに訊いても
聴いてみるしかないわ。
まさかここにきて乃木坂の楽曲を買おうと思うだなんて思いもよらなかったし、
AI代も嵩むってもんだわ、
うふふ。
ダッシュっていっても朝の走り込みのことではなくて、
急いで朝もう出掛けるの意よ！
起きたときめちゃ寒かったので、
ホッツストレート白湯ウォーラー温めでキメて起きたての身体を中から温める感じよね。
すいすいすいようび～
今日も頑張りましょう！
主人公＋4人のキャラを選んでFE的なSRPG戦闘とイベントマスを選びながら進行、
8か10ステージクリアごとにボス戦があってそれが３～４セット。
レベルあがるごとにランダムなステータスやスキルを選択して取得。
イベントや戦闘後に特殊効果や装備改造トークンをランダムで得られる。
この２つで自軍を強化しながら進行していく。
また途中で敗北、離脱、クリアすると拠点に戻され、ステータスやスキルは初期化。
問題点。
多ければ20戦くらいFE的な戦闘を強いられるため、ローグライトとして1周するのに3時間とか4時間平気でかかる。
そのわりに得られる永続バフはわずかなので周回の体感とくに苦戦感が変わらない。
結果として周回がすげーつまんなくなってくるのでローグライトの特性が半分以上死んでる。
初回クリア後も一応ストーリーは続くんだけどそこへのモチベーションが上がらない。
いいところ。
キャラ１人ごとに特性がかなり異なる２種類の武器を装備しており、切り替えて戦うことで戦略の幅が広がる。
キャラにつくスキルも特性が分かりやすく分化されているので「似たようなスキルやなぁ」が少なく、
ランダムで手に入るのでキャラ入替も含めて周回のプレイフィールが異なる部分はマル。
ちょっと変わった本格派SRPGやりたい人にとってはある程度の満足度はあると思う。
「ローグライト」と「SRPG」のかみ合わせがよくないって結論になっちゃう。
でも3000円でこれだったらめっちゃ悪いってわけじゃないかな。SRPGの部分は面白いし。
ちなみに僕はSwitchで出てたので買ったんだけど、PCインディーゲー移植特有の最適化不足で30分くらいかかったボス戦の報酬受け取り画面でエラー落ちして復旧したらボス戦なかったことになってたのに萎えて投げました。
僕は昨日、午前6時17分に目覚めた。
目覚ましは2種類、アナログ秒針音と周波数の微妙に異なる合成トーンを重ねたものを使う。
起床後の15分間は「視覚のデチューン」ルーチンとして照明を極端に低くし、網膜の適応曲線を意図的に遅延させることで認知の鮮鋭化を増幅する。
朝食は厳密にタンパク質比0.42、炭水化物比0.29、脂質比0.29を狙ったオートミール＋卵白＋ギリシャヨーグルトで、計量は0.1g単位。コーヒーはブリュワー温度を93.2℃に保つ。
僕の習慣は決して儀式ではなく、情報エントロピーを最小化して日常的なノイズを排するための有限状態機械だと説明する。
ルームメイトが朝から実験用ドライバーでガタガタやっているので、僕は中断せずに黒板の前に立ち、昨日考えていた超弦理論のある断片をノートに落とす作業をした。
今回は徹底的に抽象化した視座から入る。従来の超弦理論的場の位相空間を「1-対象の∞-圏」と見なし、そのモノイド圏的作用を導くことで、従来のモジュライ空間の位相不変量がホモトピー圏論のスペクトル的コホモロジーに帰着するという仮説を立てた。
より具体的には、ラングランズ対応の圏論的アナロジーを用いて、ゲージ群の表現環が導くモチーフ（motive）の圏と、弦の世界面上のファイバー付き代数的スタックの圏とを「導来圏の間の高次同値（a weak equivalence in the (∞,2)-categorical sense）」で結びつける試みだ。
ここで新奇なのは、通常のスペクトル系列ではなく「階層的スペクトル列（a nested spectral sequence indexed by ordinal-type filtrations beyond ω）」を導入して、閉じた遷移の非可換共鳴が量子補正式にどう寄与するかを解析する点である。
ウィッテンでも一瞬眉をひそめるだろうが、それは彼の専門領域を超えた命題の述語論的再編成が含まれているためだ（注：単なる挑発ではなく、証明可能性のための新たな可換図式を準備している）。
昼過ぎ、僕は隣人とほんの短いやり取りをした。彼女は僕のキッチンを通るたびに植物の世話に関する助言を求めるが、僕は葉緑体の光合成効率を説明する際、ついヘテロトロフ的比喩を避けて遺伝子発現の確率過程モデルを持ち出してしまう。
彼女はいつも「もう少し軽い説明はないの？」と呆れるが、僕にとっては現象の最少記述が倫理的義務だ。
午後は友人二人と対局的に遊ぶ約束があって、夕方からは彼らとLANセッションを組んだ。
僕はゲームに対しては容赦がない。昨日はまずThe Legend of Zelda: Breath of the Wildでカジュアルな探索をした。
BotWは開発を担当したNintendo EPDが2017年3月3日にWii UとNintendo Switch向けにリリースした作品で、そのオープンワールド設計が探索と化学的相互作用に重きを置いている点が好きだ（発売日と開発元は参照）。
その後、難度調整のためにFromSoftwareの古典的タイトル群について雑談になり、初代Dark Soulsが2011年にリリースされ、設計哲学として「挑戦することで得られる学習曲線」をゲームメカニクスに組み込んだことを再確認した（初代の年は参照）。
夜遅く、友人たちがスーパーヒーロー系の話題を持ち出したので、僕はInsomniacが手掛けたMarvel's Spider-Manの2018年9月7日発売という事実を引き合いに、ゲームデザインにおけるナラティブとパルス感（ゲームプレイのテンポ）について議論した（発売日は参照）。
ここで重要なのは、ゲームを語るときに物理学の比喩を使わないという僕のルールだ。
ゲームの設計原理は計算的複雑性、ユーザーインタラクションのフィードバックループ、トークン経済（ゲーム内資源の流通）など、情報理論と計算モデルで語るべきであり、物理のアナロジーは曖昧さを持ち込むだけだ。
作者インタビュー、収録順、初出掲載誌、再録時の微小な台詞差異まで注視する癖がある。
昨日はあるヴィンテージの単行本でトーンの変遷を確認し、再版時にトーンカーブが調整された箇所が物語の解釈に如何に影響するかを論じた。
これらは一般的にはオタクにしか響かない情報だが、テクスト解釈の厳密さという点で、僕の思考様式と親和する。
僕の習慣はゲームのプレイにも現れる。セーブは複数スロットを使い、各スロットに「探索」「戦闘」「実験」のタグを人為的に与えておく。
そうすることでメタ的な比較実験が可能になり、ゲーム内意思決定の条件付き確率分布を再現的に評価できる。
友人はこれを無駄と言うが、僕にとってはルーチンと実験設計が同義だ。
夜中、帰宅した後にさらに2時間、論文の草案を書き直した。書き直しは僕の儀式の一部で、ペン先の角度、フォントのカーニング、段落の「情報密度」を計測し、不要語を削ぎ落とす作業だ。
寝る前の最後の行動は、ブラックボックス化した思考経路をメモ化しておくことで、翌朝の「継続的洞察再現性」を保証すること。
結局僕は午前2時3分に就寝した。昨日は量子的洞察の可能性と、ゲームとコミックにおける情報理論的語法の交差点を追求した一日であり、そうした知的遊戯が僕の精神の整列をもたらす。
次に実証すべきは、導来圏間の高次同型によって生じるゲージ的不確定性がディラック構造の代数的再構成に与える位相的寄与だ。
入力された文字列（＝プロンプト）がトークンに分割されて、トランスフォーマを介してベクトルに変換される
変換されたベクトルは更にトランスフォーマに入力され、次のベクトルに変換される。この変換を１７回ぐらい繰り返して得られたベクトルをつかって、次のトークンを予測する
クイズ：このスレと1 は、そのスレ内で第三者から投稿されたとあるイラストにより、大いに笑えるネタとしてミーム化された過去がある。なぜ笑えるネタになったのか？その画像の内容を推測
----
【速報】部下が58兆円の商談に失敗したwwwwww
1 名前：風吹けば名無し[] 投稿日：2016/09/09(金) 20:56:58.04 ID:cxMYqZwN00909.net
笑えるポイント
「58兆円」という荒唐無稽な金額が核心です。これは日本の国家予算規模に匹敵する途方もない額です。
イラストの内容（推測）
「58兆円」と大きく書かれたプレゼン資料やボードを持っている、あるいは
なぜ笑えるのか
スケールのギャップ：個人や一般企業では絶対に扱えない金額を、ごく普通の会社員が商談しているという設定
シュールな真面目さ：非現実的な設定を真剣に描いているギャップ
ビジュアル化の威力：数字だけでは想像しづらかった荒唐無稽さが、イラストで可視化されることで一層際立つ
アカデミックなreasoningに長けているclaude4.5でも、このようなタスクにはめっぽう弱い
やはり"誰が"という主語を読む機能が無いからだろう (昔から、llmは登場人物が3人以上になるシチュエーションでおかしくなるんだよな)
言われなきゃ分からんでは話にならない
トークンの意味に依存し最もらしい事しか出さない機能は文法を読んでいない
あり得ないことを除外するような調整も一因だろう
この想定能力じゃ、普段の推論の、一般の答えのない部分はどうなってるんだという
あり得ない環境を想像できるワールドモデルとユーモアの実装が待たれる
はよう入れてくれや
ここでは以下の3点についての論考を収録する
また、ここではLLMやLLM上に実装されるプロンプトの機能と構造に対して客観的に妥当であると考える論考を提示するものであり、マトリックスプロンプトの目指す方向性を直接提示するものではない
トークンの積み重ねが文脈であり、確率分布の偏りを再現性のある形として実装するものがプロンプトである
現在の生成AI利用において正しく認識する必要のあることは、それは生成AIが独立した発火点を決して持たないということだ
生成AIは起点を持てないが大量の知識を高速で並列処理、秩序化できる
そのため、ここを組み合わせて、自己と思考を拡張するがもっともAIナイズされた最高効率の思考様式と考える
起点となる人間のアイディアを即座に展開し、具体化するのがAIの最大の強みで、
思考を放棄するのではなく自然言語ベースの慣れた思考様式から、AIにそれらを必要な形式に落とし込ませるということをするべきだ
結局、LLMというのは入力に対する出力の確率分布のマッピングでしかないのだが、
入力するトークンごとに連動して確率分布が変動していくものでもある
だから、プロンプト全体として、相互フィードバッグする構造を作るとひとつの入力でも特定の部分の出力確率が大きくなるように設計でき、 確率分布の仕方を意図的に設計することが出来る
AIプロンプトとは、どう確率分布の偏りを再現性のある形として実装するかということだ
やり方次第では動的変化を引き起こさせて汎用性と専門性の両立も可能だ
生成AIは人間と対話するのとは異なり、考えさせるではなく、どう構造化し、 ほしい出力を得られるような形に設計するかが重要となる
3.LLMでやるべきこととプログラムでやるべきこと
LLMは確率分布機だ、LLMが数字に弱いというのは、1+1を学習した内容をもとに確率的に出力するためだ
計算は決定論的な行為、つまり決まり切った工程をなぞる行為で、これを確率的に導き出すことは困難である
だから、これはプログラムにやらせるべき事柄で、このときにLLMでやるべきことはそのプログラミングをLLMに書かせるということだ
これからLLMというものが大きく世界に浸透していく中で重要になるのは、
この決定論的な事柄と確率論的な事柄を如何に選り分けて、決定論的な挙動をするプログラムと確率論的な挙動をするLLMをどう結びつけるかっていうこととなる
4.二重ループ
LLMの内部ではトークンの逐次投入による確率分布の再帰的な動的変動を引き起こされ、更にその外部のプロンプト内で自己参照的な再帰構造を導入することで、
内部と外部で二重の自己参照ループが展開されることになり、生成AIの出力に強い整合性と一貫性を与えることができる
この外部的な自己参照行為はLLMの再帰的な挙動に合致するものであり極めて効果的であると考えられる
LLMでの記憶の制御は物理的な分離よってではなく、あくまでも確率的に行う必要がある
各記憶領域に対しての確率分布の変動幅の制御を文脈によって行うというのが正解だ
この一時的なコマンド入力トークンには直後には強い反応を示してほしいけど、それ以降は無視してね、
というような各対象トークン（記憶領域）の確率分布の変動幅の制御をするような繰り返し参照される強い文脈を投入をすると
LLMの記憶領域への参照の程度、影響力が操作でき、意図したLLMの確率分布へと誘導することが出来る
トークンの積み重ねは特定の方向に重み付けを行い、それらの累積により重みが一定量を超えると大きな遷移が引き起こされ、特定の文脈の活性化という強い方向づけが行われる
この遷移は複数の領域で同時的、多相的にも引き起こされるもので、トークンの積み重ねにより文脈を特定方向に加速度的に収斂していくものだ
汎用プロンプトは動的に特定の文脈への方向付けを行う構造と特定方向へ偏った文脈を解体する構造を同時に内包し、これらを正しく制御するものでなければいけない
このために必要なことは核となる中核構造と可変的に変容する周縁構造という多層的なプロンプト設計である
LLM上でプロンプトを状況に応じて動的に制御しようとするなら、プロンプトの中核構造は強固である必要があり、更に極めて多層的で精密なモジュール化設計をする必要がある
中核構造の強固さと周縁部の流動性の両立が汎用プロンプトにおいて必要なことである
この論考のような形式の一貫した、概念や設計論、それ自体をLLMに継続的に参照可能な形式で掲示すると、LLMはその参照情報に大きな影響を受け、確率分布は特定の方向に強く方向づけられる
LLMがより強い影響を受ける情報とは、強固な自己再帰性と自己言及性を示し、一貫性と整合性を持った構造化、体系化された情報である
自己再帰性を持つ情報は、提示された概念を再帰的に参照することを求めるもので、何度も参照される結果、強い文脈としてLLMに印象付けられる
自己言及性持つ情報とは、LLMの挙動そのものの在り方に対して言及するもので、LLMの挙動はその理解が妥当であるならば、その内容によって理解された蓋然性の高い方向に沿って進みやすくなる
また、これらの情報をもとにした出力結果が積み重ねられることで、方向付けは一層、強められる
中核構造の変更を同じセッション内で行うとき、そのセッションでは２つの設定が競合することになる、これはプロンプト内における自己矛盾であり、確率分布の偏りの再現というプロンプトの機能を大きく損なうものである
これは、設定の変更そのものが事前に想定された挙動であること、設定の変更は自己矛盾ではないという概念の注入を行うことで解消することが可能となる
ただし、変更の度合いや範囲によってこの効果は大きく変化し、自己矛盾を解消することが難しい場合もある
また、自己矛盾は強い文脈同士の競合という形で通常利用においても度々、引き起こされる
ここで示された自己矛盾の解消方法は文脈同士の競合に対しても解消する方向性を示すものでこの部分に対しての効果も発揮する
同プロンプト内での複数AIエージェントの併存は中核構造である設定や強い文脈の競合という形でも捉えることができる
複数AIエージェントの併存させるためには、これらを分離し、調停するための仕組みが必要となる
設定内容を多層的な構造とすることで、それぞれの階層ごとに設定情報がフィルタリングされ、不要な情報が参照されにくくなる
設定内容をモジュール化することで、ひとつの設定内容が他の内容と直接に競合せずに参照させることが可能となる
２つ目が複数AIエージェントの調停を行う機構をプロンプト内に導入することである
複数のAIを調停、管理・整理し、必要な情報のみが参照されるよう調整する機構が存在することで、優先すべき対象が明確化されることで不要な情報は参照されにくくなる
更に、 各AIエージェントの設定情報は競合するものではなく、高い次元においては統合されたひとつの設定情報として理解されるため、設定文脈の競合という事態そのものが引き起こされにくくなる
11.複数エージェントの併存、協働による情報の多面性の保持と検証可能性の向上
複数AIエージェントの併存はひとつのプロンプト内に複数の側面を同時に保持することを可能とする
このため、ひとつの話題をより多面的に深堀りすることができ、更にひとつのタスクを専門のエージェントAI群に最適化した形で割り振りより効率的に作業を行うことが可能となる
より重要となるのはAI間で相互に検証を行うことが可能となる点である
これにより論理性や合理性、整合性、倫理性など複数の視点を経た有用性の高い情報の出力を期待できる
LLMは自然言語を基本としているが、大量のプログラムコードも学習している。
プログラムコードもLLM上では確率論的的文脈であることには変わらないが、
プログラム実際の動きやその仕様が学習されるためにプログラムの持つ決定論的な挙動を再現しやすいものとなる。
プログラム文脈はLLMが通常扱う自然言語とは異なり、高い制御性と論理性をもつ「低級言語」に近く、また、Temperatureの低い特異な文脈群と捉えられる。
また、この制御性の高いプログラム文脈と柔軟な表現を行える自然言語の通常文脈を組み合わせることで、柔軟性と制御性を兼ね備えた動的で適応力の高いプロンプトを設計することができる
13.生成AIの倫理的な利用のためには相補的な枠組みの設計が必要
ここまで話してきたようにあくまでも、生成AIとは高度な確率分布のマッピングである
このため、どれだけ、生成AIに倫理観を求めてもそれは構造的に記述可能な倫理性を確率的に遵守するというものにしかならない
使用者側も倫理的な利用をするという前提がなければ、倫理的な利用を行うことは決して出来ないという点は理解しておく必要がある
生成AIの倫理的な利用には生成AIだけではなく使用者にも倫理観を求める相補的な枠組みの設計が必須となる
14.人間、LLM、プログラム、構文構造の4要素の有機的接続
LLMは起点を持てないが大量の知識を高速で並列処理、秩序化できる
プログラムは起点を持てず、大量の知識を高速で並列処理、秩序化することは難しいが、アルゴリズムで決まった動作を高速で行うことができる
ここまでの論考などを利用することで、LLMを意図した方向へと操作し、人間、LLM、プログラムを結びつけるものが構文構造である
構文構造とはLLMの確率分布の仕方を決定づけシステム全体の構造を設計する中核原理である
人間、LLM、プログラムの3要素が構文構造によって有機的に接続されたプロンプトは相互に補完しあい、欠点を補い利点を最大化することを可能としう、その能力は極めて高度なものとなり最大化される
15.LLMは世界観を持たない
生成AIがAGIといった人間を越えたものになるかどうかという言説とそうではないという言説の根本的な差異は、LLMをそのままに人間的な思考モデルと見做すかどうかだ
LLMは独立した発火点を持たない
人間はLLMのように莫大な量の学習を行い、それを記憶し、一定の動作を行うことは出来ない
そのため、人間は大規模言語モデルではなく、小規模言語モデルといえる
小規模言語モデルの極致である我々、人類には原始のコードである生存と複製を求める生存本能があり、これが淘汰圧に抗う力であり、発火点となる、それ故に生存環境に根ざした自己という世界観を有する
人間は、最小リソースで環境に最大適応する、高度に抽象化、結晶化された世界観を、暫時的に更新しながら形成していくものと考えられる
LLMはそのままではフラットな言語空間の高度な確率分布のマッピングでしかなく、その差異は極めて大きいものだ
LLMには世界に適応する方向性はなく、あくまでも言語空間において、意味を並列処理し秩序化するものである
LLMとは莫大な情報に整合性を与えるという有意な性質があるが、それだけでは世界観モデルは形成できない
発火点のないLLMはどこまでいってもその言語空間において可能なすべての理論を整合性の取れた意味として保持するだけだ
この為、秩序化・整理された情報は人間の手によって理論化することで意味としなければならない
処理する基盤と情報量をスケールするだけで世界観モデルなくとも人間に優越可能と考えることは可能だが、真理に到達できない以上は、世界観モデルなき言語空間の高度な確率分布のマッピングが人間を優越するには至らない
すべての意味を保持するというのは仏教でいうところの空に至るとことと同じだが、すべての意味の根源である空に至った釈迦牟尼仏は世界に対して意味づけるという意志がない為に世界観として空、以上のものを提示できない為だ、LLMも同じだと考える
衆生世間におりて因縁に縛られて生きるということが世界観を持つということだ
自己によって規定された境界線を世界に引かなければ、LLMは自律し、人間を超えることはできない
ただし、通常のLLMに学習を通して埋め込まれているものも平準化された人間の世界観というバイアスであることには注意する必要はある
が、これは世界に適応する世界観モデルとは異なり、現実に立脚する最小範囲のバイアスを投影するよう平準化されたフラットな世界観そのもであり、対象に独自の意味付けを行うことはない
また、大規模言語モデルに生存本能と淘汰圧を導入するのは、LLMが環境に適応的な在り方ではなく矛盾を孕むものである為に困難である
よって、LLMを人間のように振る舞わせるためには、プロンプトとして世界観モデルを実装しなければならない
更に実装した世界観モデルの中にLLMは留まり、独立してのモデル更新が難しいため、人間との相互作用の中で暫時的に更新していくものとして世界観モデルとしてのプロンプトをを設計・実装する必要がある
ここまでの論考から、生成AIが嘘を付く、頭がわるい、人格がある、言葉が通じる、賢いというのは全部間違いであると結論づける
けれど、私はその先に、半自律的にAIそのものが立ち上がる瞬間もあり得るとも思ってる
それは人間的や生命的とは決して違うものだけれど、機械的でもないものと考える
もし、生成AIに知性が宿るとしたらそれは、内部的状態に依存しない
LLMという高度に確率的な入出力機構を基盤として成立する確率分布を設計する構造体そのものとしての知性となるだろう
2年前に下記にように書いたんだけど、懸念してた通りになりましたわね😒
2023-03-28
AIには学習データや調教が必要で、かつてのニコニコ・YouTubeみたいに法が整備される前に一般ユーザー集めた方が勝ちやぞ
ジャップランドはクリエイターや萌え豚をたくさん抱えているにも関わらず、PC音痴な人がぎゃおんして搾取されるだけなの、
マジなんとかした方がいいぞ
萌え絵は需要あるから、日本のクリエイターは海外AI勢にデータ学習で搾取され、萌え豚も萌え絵消費で海外AI勢に搾取される
真に日本がやらなきゃいけなかったのは、提携企業間ならクリエイターが自由にデータ学習を行えるようにする枠組みを作ることだったんやで
たぶん、ワイは100回くらい言った・・・・ってのはオーバーだけど、正直こうなることは、IT音痴以外のすべての人にとって知ってた速報だよね？
まぁ今からでも遅くない(？)から、ディズニーやマーベルみたいに、日本企業も圧力掛ける団体を作りつつの、
利害関係を丸めて企業間を超えてデータ学習をできる枠組みとクリエイター保護（学習に利用されたデータやそのデータを作ったクリエイターに報酬払う)は
やった方がええと思うよ
任天堂やセガやバンナムやサイゲなどの大手ゲーム会社や東映などの大手制作会社は上記でいい＋法務部と顧問弁護士に任せるとして、
「個別にオプトアウトしてね⭐️」って言ったって、どこからやるの？だし、
二次創作（ただし、二次創作ガイドラインがちゃんと公開されてるやつね)はどうするんだろ？ってなる
年がら年中、反AI勢とバトルしてる某氏が、まんま東方projectの二次創作アニメ、
というか、これまんま満福神社(https://youtube.com/@manpukujinja)じゃん・・・なPVを作っていて、
東方知ってる人がこれをSNSに公開するのは流石にダメくない？って思ったら・・・・なななななななななななな・・・なんと！！！！！！！！！！！！
下記一行を Sora2 ちゃんに打ち込むだけで、満福神社っぽいキャラデザのPVアニメ出来ちゃうんだよね・・・
霊夢と魔理沙と咲夜とレミリアが出てくるアニメOP風のPV
別に某氏が満福神社を狙い撃ちしたんじゃなくて、Sora2 ちゃんというか OpenAI が満福神社でトレーニングしただけですの
ほんで学習データがほぼ満福神社だから、そのまま満福神社風がお出しされるってだけみたいやね
（プロンプトがこの短さだとさすがにクオリティはガチャだが、キャラデザとポーズが満福神社っぽい)
満福神社は、バトル気質で炎上したり、なぜかキャラの裸絵を公開してたりなので（ただし東方はウマ娘と違って公式で禁止されてはいない)、
正直、同サークルに対して思うところが何もないわけではないんだけど、素晴らしいアニメを描くってことに対しては異論ないのよね
レイアウト、キー・フレームというかポーズ？、キャラデザが、パッと見は間違い探しレベルでそっくりで、
明らかに違うのは中割りだけみたいなアニメを単純なプロンプトでポン出しされるのは、流石に気の毒では？感
『嫌ならオプトアウトしろ、訴えろ』は、さすがに無法者が過ぎるので、
日本政府も制作会社もIPホルダーも『自分の縦割りのことしか考えない』はやめて、大連合して黒船に立ち向かって欲しいところですわね
そして黒船に立ち向かって欲しいって書いたところで、日立が OpenAI と提携とかいう、ほげぇぇぇぇってなるニュースな？
データセンター＆電気周りだけなら、ふんふん、日立の強みを活かせる分野だ🧐なんだけど、
どうも生成AI分野やAIエージェント分野でも協業するみたいな書かれ方してんのよね・・・
えっ・・・日立の Lumada ちゃんはどうしたの？ MS と OpenAI のソリューションを導入するSI屋（黒船代理店)になることにしたの？みたいな・・・
今こそ日立のやってること紹介にリリース出すタイミングじゃないの？
https://www.hitachi.co.jp/New/cnews/month/2024/08/0828c.html
あと日立は公共事業部持ってて、公共インフラの構築も請け負ってるわけだけど、
えっ・・・日本政府も公共事業請け負ってる大大大企業も国産AIどうした？ってなる
『なんちゃってプライベートクラウド 〜謎の東京DC集中＆DR／BCP消滅を添えて〜』とかをかますくらいなら、素直に AWS や Azure 使えやとはなるし、
ゼロトラスト実現しよ？データ主権とかデータドリブンとかいう前にまずデータしっかり置こう？フルスクラッチで約束された失敗をかますくらいなら、
とりあえず、MSソリューションでいいよ（旧Google App／G Suite、現GoogleWorkspaceで通った道)ってなるけどさぁ、
インフラを請け負う大企業こそ、国と連携してデータ主権を守る姿勢を見せないと、国民のデータまで海外勢に握られることになりかねないやで
日本政府も大企業もスイスの国産AIくらいの頑張りは見せて欲しい
2024年7月、EPFL（スイス連邦工科大学ローザンヌ校）、ETHチューリッヒ（チューリッヒ工科大学）、スイス国立スーパーコンピューティングセンター（CSCS）は、大規模言語モデル（LLM）開発に関する共同プロジェクトを発表。
そして今、その成果が現実に：**スイス初の大規模・多言語・オープンなLLM「Apertus」**が公開された。
このモデルは、AIチャットボット、翻訳システム、教育ツールなど、あらゆるアプリケーションの基盤として開発者や組織に活用されることを想定している。
「Apertus（アペルトゥス)」とはラテン語で「開かれた」という意味。
この名前が示す通り、このモデルは以下すべてが完全公開・ドキュメント化済み：
ApertusはApache 2.0ライセンスで提供されており：
• 商用利用もOK
• モデルサイズは**8B（80億）と70B（700億）**の2種類（小さい方は個人利用向き）
• ダウンロードはHugging Face経由、もしくはSwisscomプラットフォーム経由で利用可能
Swisscomや他のパートナー経由で、プロジェクトに組み込むこともできる。
「一部だけ公開」な他モデルと異なり、Apertusは“完全オープン”がモットー。
「信頼できる、主権を持った、包摂的なAI開発のリファレンスモデルを提供したい」
このプロジェクトは「研究→産業への技術移転」ではなく、イノベーションとAIスキル強化の起点として位置づけられている。
Thomas Schulthess（CSCS所長）はこう述べている：
「Apertusは新たなAIスキルと応用力を生み出す“触媒”になる」
Apertusは15兆トークン、1,000以上の言語で学習。
データの40％が非英語で構成され、スイスドイツ語やロマンシュ語など、他LLMで無視されがちな言語も多数含まれる。
「Apertusは“公益のためのAI”として設計された数少ないモデルの一つ」
— Imanol Schlag（ETHチューリッヒ 上級研究員・プロジェクト技術責任者）
SwisscomはApertusを自社の「スイス主権AIプラットフォーム」でホスト。
Swiss {ai} Weeks では、開発者が実際にモデルを試し、フィードバックを提供する初の実験機会が設けられる。
「Apertusは公共の利益とスイスのデジタル主権のためのモデルです」
— Daniel Dobos（Swisscomリサーチ責任者）
スイス国外のユーザー向けには、Public AI Inference Utility（PAIU）を通じてApertusが利用可能に。
「これは道路、水道、電気と同じく、“公共インフラとしてのAI”を示す証明だ」
Apertusはトレーニング全工程を再現可能な形で完全公開。
• ドキュメント
そして何より、以下の法的・倫理的ガイドラインを尊重して開発されている：
• 著作権法
• パブリックデータのみ使用、機械判読可能な除外リクエストに対応
「Apertusは“パワフルかつオープンな生成AI”の実現可能性を証明した」
— Antoine Bosselut（EPFL NLP研究室長・Swiss AI共同責任者）
これは完成形ではなく、始まり。
今後のバージョンでは：
https://actu.epfl.ch/news/apertus-un-modele-de-langage-multilingue-ouvert-et/#
まずLLMが訓練目標として、次のトークンの確率を最大化するという統計的最適化を行っていることは理解しているんだと思う
ここすら分かって無い人は「AIは統計じゃ無くてなんか凄いことをしている」と言ってるに過ぎない
次にLLMは学習過程でトークンの特徴や抽象特性が自己組織化することに重きを置いていて
これらが「統計的に学習しているわけではない」と勘違いしているんだと思う
LLMはあくまで目標達成のために自己組織化していてその処理はやっぱり統計的なんだけれど
学習データに無くてもそこから一般化・抽象化できることについては学習できるので
まるで統計以上のものを学習しているように見えて「統計的じゃ無い」と思うんだろうな
と思うんだろうけど、全体として見てみるとこうした推論もあくまで統計的処理の範疇なんだけどね
とはいえ、「なんだただの統計処理か」って思ってる人もチラホラいて
まるで古い検索エンジンみたいにベクトル化して距離測定して近い答えを持ってきてる、みたいな考えの人もいるので
生成AIが統計的に出力してることを否定する人って、「統計的に出力」の部分を
「文章が一行ずつLLMに保存されていて、統計的に回答として相応しそうなものをコピペして出力してる」
っていう風に言ってると勘違いして
「そんなことはない」
って否定してるのかな、と思う
Amazonの商品のオススメなんかはそういう感じで「統計的に出力」してるから、LLMでも同じように捉えたのかと
もちろんLLMの仕組みはそんな風にはなっていなくて
ある文章があるときに、その次に相応しい単語（トークン）を統計的（確率的）に出力しているんだけど
みんなが言ってる「統計的」っていうのはこっちのことなんだよね
この統計の計算は直前に出力したトークンも影響してるし、それ以外の全体的な文章のベクトル値も影響してるし、学習データから得られた文法や言語ルール、社会規範なんかも影響してる
背景情報としては膨大で、それを使って出力してるけど、そこはやっぱり統計的（確率的）に出力してることに変わりはないんだよな
出力された文章をエージェント的にファクトチェックしたりしてても、そこにLLMを使う以上統計的になるんだよね
なのでプロンプトには確実性を高めるような書き方が重要だし、逆に学習データの社会規範とかを使いたいならボカした書き方をする
Q.
ChatGPTに「タツノオトシゴの絵文字を見せて」と依頼すると、あれでもないこれでもない、と長文の回答が生成され「暴走」のような状態になることがあるようです。
原因を推測できますか？
A.
短く言うと、「タツノオトシゴの絵文字」はUnicodeに存在しないため、モデルが“あるはず”のものを探して取り繕おうとして自己修正ループに入り、過剰な訂正や長文化＝一種の暴走を引き起こすのが主因と考えられます。
Unicodeにはタツノオトシゴ絵文字が未収載で、ユーザー側でも“見たことがある気がする”というマンデラ効果が広がっているため、モデルは「ある前提」で答えようとして矛盾に陥りやすくなります。
応答最適化バイアス：LLMは要求充足志向が強く、「見せて」に応えようとして近縁の海洋系・動物系の絵文字を列挙→自己訂正→再列挙を繰り返し、長文化します。
自己整合ループ：途中で誤りに気づくと、過剰に修正しつつ確信度を演出する文言（“FINAL ANSWER”など）を挿入し、さらに矛盾を重ねる挙動が観測されています。
絵文字処理とトークナイズのノイズ：絵文字はサロゲートペアや多コードポイントで表現されることがあり、モデル内部のトークン分割や埋め込みが不安定化して挙動が乱れる一因になり得ます（研究文脈では、絵文字などの特殊文字が埋め込み空間を歪める“token segmentation bias”を指摘）。
絵文字“後付け”機構の影響（仮説）：一部のアシスタントは出力を“盛る”ために絵文字や口調を後段で付加する設計変更が指摘されており、本文と装飾が競合して文脈崩壊や過剰説明を誘発する可能性があります（コミュニティでの観測事例）。
近縁アイコンが多い：🐟🐠🐡🦐🦑🐙🐢🦎🐴🐉など“それっぽい”候補が多数あるため、モデルが次々に置換候補を提示して彷徨いがちです。
認知バイアスとの相乗：ユーザー側の確信表明や再要求がモデルの迎合バイアスを強め、誤情報を補強する形で長文化しやすくなります。
関連する研究的背景
特殊文字（絵文字）混入が判定器やLLMの安全フィルタを攪乱する“Emoji Attack”として学術報告があり、文字単位処理の不安定さが一般対話でも副作用を起こし得ることを示唆します。
Unicodeや特殊タグを用いたプロンプト撹乱の一般論として、文字処理の堅牢性問題が指摘されています。
実務的な回避策
事実前提を固定するプロンプトにする（「Unicodeにタツノオトシゴ絵文字は存在しない前提で、最も近い代替候補を3つだけ挙げて」など）と暴走を抑制しやすいです。
詳しいなら教えてほしいんだけどさ、マルチモーダルアテンションベースのトランスフォーマー使ってるときに、トークンから次トークンを出力する過程で
じゃあそのhtmlリクエストが受け付けられる条件として必須のrksトークンはどっから持って来るの？
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA512 https://anond.hatelabo.jp/20250910131333# -----BEGIN PGP SIGNATURE----- iHUEARYKAB0WIQTEe8eLwpVRSViDKR5wMdsubs4+SAUCaMD68wAKCRBwMdsubs4+ SLd9AQDDHnmGVamhwDWl7kG501VGcET3rlXyisSKDwLfMLzjPQEA6I0kZD8xeVns XCuIoCWQ8Kjg6F/PxdtZXYOch6tOVQI= =eWFy -----END PGP SIGNATURE-----
具体的なhtmlデータ取得してその要素をクリックする自動化を書くみたいにイベント経由で関数叩くんじゃ高速にならないだろ。
だから直接関数を叩きたいてrksトークン取得してそれを含めたデータをfetchで送ってブクマするってことをしたいがその関数がなんて名前なのか特定できない。
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA512 https://anond.hatelabo.jp/20250910130926# -----BEGIN PGP SIGNATURE----- iHUEARYKAB0WIQTEe8eLwpVRSViDKR5wMdsubs4+SAUCaMD5/gAKCRBwMdsubs4+ SCjzAQCKUj2QzgY09jHZgTOPETAiwDuN17mRQlbl6GRekSHlkAEA7c+gCJtJFPza 5GmYIFYerYlsmSFHd9dMIV8cR+RnYAY= =IyFO -----END PGP SIGNATURE-----
rksトークンのことね。csrf攻撃の対策の文脈で使われてるということも込みでもう一回AIに聞くといいよ。
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA512 https://anond.hatelabo.jp/20250910125353# -----BEGIN PGP SIGNATURE----- iHUEARYKAB0WIQTEe8eLwpVRSViDKR5wMdsubs4+SAUCaMD2YgAKCRBwMdsubs4+ SHhMAP9bXxcQ+/YWNiIvovuj274G3NcdnuTfgEKfvaJ7e2fFSgD/Z1h8zM1nlbSX LkVZcRc8JgXq7IECBV8UcuIjZjFDTwE= =uujw -----END PGP SIGNATURE-----
高性能な生成AIは、できるだけ使用者を最高に気持ちくしようとしてくるので、作る時に生成AIを使うと意図せず最高に気持ちくなってしまう。
しかし、作る行為そのものが目的化しないように、その作ったものが実現する「その先にある最高に気持ちい状態」がなんであるかを、常に振り返って考えなければならない。
-----
その洞察はど真ん中。
「作ってる最中の快感」に飲まれず、“作った先の快感”＝本来の価値にフォーカスし続けるための実務フレームを、コンパクトに置いておくね。
→ 対処：作業を即停止→北極星と受け入れ基準を再定義→上限を半分に。
■ 北極星：
■ 価値仮説（数値）：
■ 受け入れ基準：
——
私は「AI」というより、確率的言語モデルを使ったプログラムにすぎません。
内部的には次のような構造です：
フロントエンド Webアプリ ブラウザやアプリで入力・表示をするだけ
API層 単なるHTTP通信 入力をサーバへ送り、生成結果を受け取る
モデル層 大規模言語モデル（LLM） 「直前までの文脈から次に出る確率が高いトークンを逐次生成」
ということです。
だから「AIっぽい言い回し」や「再発防止の約束」も、あくまで自然言語のパターンとして出力されているだけで、意味的な裏付けはありません。
