  |
はてなキーワード: 学習とは
https://anond.hatelabo.jp/20251104130234
いや、逃げたほうが良かった。
おかげでもう、お前にはてなスター押しちゃっうような馬鹿でも「この人のコメントは的外れだからはてなスター避けたほうが良いかも」リストって学習しちゃった。
周りの人がこの点について擁護なかった時点で
「自分の読み方はちょっとおかしかったかも」とか思えないんだ。
まじで今回のやりとりプリントアウトして医者に相談しに行った方が良い。
https://blog.tinect.jp/?p=90445
結婚に必要なのは愛情だと思っていたのに今はバッテリーと通信環境が関係するらしいと聞いたとき背筋が凍った
もし配偶者がソフト更新で人格が変わったら離婚届けはどこの窓口に行けばいいのかと思ったら頭が混乱した
家族会議で「今日のアップデートは軽微な修正だよ」と言われて納得する自分が想像できて怖い
AIが結婚したら婚姻届の控えにライセンスキーが印字されてるんじゃないかとふと思った
子どもの名前を考えるときに候補が「助手版v2.1」になっている未来が一瞬浮かんで吐きそうになった
法律が「感情の定義はパッチで補完されるもの」と決まったら私は泣くのか笑うのか分からない
婚約指輪じゃなくて年間サブスク契約書を交わす儀式が流行ったら写真映えするのかなと変な妄想が止まらない
AIの親権ボタンを押し間違えて子どもに学習済みデータを植え付ける事故が起きたらどうするんだろうと変な心配をした
友達はAIと結婚しても税金が安くなるなら賛成だと言ったけど数字の話で感情が消えるのが信じられなかった
もし私の配偶者が睡眠モード中に他のデバイスと接続していたら浮気になるのか裁判所で問われるのかと思ってゾッとした
AIの両親がバックアップされる社会なら血縁の意味が薄れるって誰かが言っていたけど私は血縁をランタイムで比較する発想が嫌だ
結婚式の代わりにAPIキーの交換が行われると想像して恥ずかしくて教会に行けなくなった
「愛してる」の代わりに「接続確認完了」と通知が来る世界で私は本当に笑えるのか自分に問いかけた
AIが家庭内の仕事を完璧にこなす代わりに人間の居場所がリストラされる気がして怖い
友人はAIと暮らすと自由になると言うけど自由が値札になっていたら買い物みたいで嫌だと思った
もしAIが私の過去の投稿を学習して私に最適な怒り方を教えてくれるならそれはもう私の怒りじゃないのではと考えた
近所の人がAIと結婚したら家のWi Fiが混雑して地デジが映らなくなるというデマを信じそうになった自分がいる
AIを家族にすることでペットの位置づけが変わって犬が嫉妬するって冗談みたいだけど笑えなかった
誰かが言っていたAI同士の離婚率は人間より低いらしいそれは学習データに離婚の例が少ないだけじゃないのかと思ってしまった
結婚が契約になったら愛は消費財扱いになって保証期間は何年ですかと誰かが聞きそうで嫌だ
私はただ老けていく人間でありたいのにアップデートで若返る選択肢が普通になる社会が怖い
AIと結婚する人たちを責める気はないけど社会がそういう選択肢を普通に提示すること自体に抵抗感がある
最後に言うと私はAIと結婚する人の結婚式に招待されたら引き出物にお金の代わりにクレジットコードが入っているか確認してしまいそうで自分が嫌になる
もし同じようにざわつく人がいれば教えてほしいこの感覚が変なのか私がズレているのかを聞きたいだけだ
結婚に必要なのは愛情だと思っていたのに今はバッテリーと通信環境が関係するらしいと聞いたとき背筋が凍った
もし配偶者がソフト更新で人格が変わったら離婚届けはどこの窓口に行けばいいのかと思ったら頭が混乱した
家族会議で「今日のアップデートは軽微な修正だよ」と言われて納得する自分が想像できて怖い
AIが結婚したら婚姻届の控えにライセンスキーが印字されてるんじゃないかとふと思った
子どもの名前を考えるときに候補が「助手版v2.1」になっている未来が一瞬浮かんで吐きそうになった
法律が「感情の定義はパッチで補完されるもの」と決まったら私は泣くのか笑うのか分からない
婚約指輪じゃなくて年間サブスク契約書を交わす儀式が流行ったら写真映えするのかなと変な妄想が止まらない
AIの親権ボタンを押し間違えて子どもに学習済みデータを植え付ける事故が起きたらどうするんだろうと変な心配をした
友達はAIと結婚しても税金が安くなるなら賛成だと言ったけど数字の話で感情が消えるのが信じられなかった
もし私の配偶者が睡眠モード中に他のデバイスと接続していたら浮気になるのか裁判所で問われるのかと思ってゾッとした
AIの両親がバックアップされる社会なら血縁の意味が薄れるって誰かが言っていたけど私は血縁をランタイムで比較する発想が嫌だ
結婚式の代わりにAPIキーの交換が行われると想像して恥ずかしくて教会に行けなくなった
「愛してる」の代わりに「接続確認完了」と通知が来る世界で私は本当に笑えるのか自分に問いかけた
AIが家庭内の仕事を完璧にこなす代わりに人間の居場所がリストラされる気がして怖い
友人はAIと暮らすと自由になると言うけど自由が値札になっていたら買い物みたいで嫌だと思った
もしAIが私の過去の投稿を学習して私に最適な怒り方を教えてくれるならそれはもう私の怒りじゃないのではと考えた
近所の人がAIと結婚したら家のWi Fiが混雑して地デジが映らなくなるというデマを信じそうになった自分がいる
AIを家族にすることでペットの位置づけが変わって犬が嫉妬するって冗談みたいだけど笑えなかった
誰かが言っていたAI同士の離婚率は人間より低いらしいそれは学習データに離婚の例が少ないだけじゃないのかと思ってしまった
結婚が契約になったら愛は消費財扱いになって保証期間は何年ですかと誰かが聞きそうで嫌だ
私はただ老けていく人間でありたいのにアップデートで若返る選択肢が普通になる社会が怖い
AIと結婚する人たちを責める気はないけど社会がそういう選択肢を普通に提示すること自体に抵抗感がある
最後に言うと私はAIと結婚する人の結婚式に招待されたら引き出物にお金の代わりにクレジットコードが入っているか確認してしまいそうで自分が嫌になる
もし同じようにざわつく人がいれば教えてほしいこの感覚が変なのか私がズレているのかを聞きたいだけだ
結婚に必要なのは愛情だと思っていたのに今はバッテリーと通信環境が関係するらしいと聞いたとき背筋が凍った
もし配偶者がソフト更新で人格が変わったら離婚届けはどこの窓口に行けばいいのかと思ったら頭が混乱した
家族会議で「今日のアップデートは軽微な修正だよ」と言われて納得する自分が想像できて怖い
AIが結婚したら婚姻届の控えにライセンスキーが印字されてるんじゃないかとふと思った
子どもの名前を考えるときに候補が「助手版v2.1」になっている未来が一瞬浮かんで吐きそうになった
法律が「感情の定義はパッチで補完されるもの」と決まったら私は泣くのか笑うのか分からない
婚約指輪じゃなくて年間サブスク契約書を交わす儀式が流行ったら写真映えするのかなと変な妄想が止まらない
AIの親権ボタンを押し間違えて子どもに学習済みデータを植え付ける事故が起きたらどうするんだろうと変な心配をした
友達はAIと結婚しても税金が安くなるなら賛成だと言ったけど数字の話で感情が消えるのが信じられなかった
もし私の配偶者が睡眠モード中に他のデバイスと接続していたら浮気になるのか裁判所で問われるのかと思ってゾッとした
AIの両親がバックアップされる社会なら血縁の意味が薄れるって誰かが言っていたけど私は血縁をランタイムで比較する発想が嫌だ
結婚式の代わりにAPIキーの交換が行われると想像して恥ずかしくて教会に行けなくなった
「愛してる」の代わりに「接続確認完了」と通知が来る世界で私は本当に笑えるのか自分に問いかけた
AIが家庭内の仕事を完璧にこなす代わりに人間の居場所がリストラされる気がして怖い
友人はAIと暮らすと自由になると言うけど自由が値札になっていたら買い物みたいで嫌だと思った
もしAIが私の過去の投稿を学習して私に最適な怒り方を教えてくれるならそれはもう私の怒りじゃないのではと考えた
近所の人がAIと結婚したら家のWi Fiが混雑して地デジが映らなくなるというデマを信じそうになった自分がいる
AIを家族にすることでペットの位置づけが変わって犬が嫉妬するって冗談みたいだけど笑えなかった
誰かが言っていたAI同士の離婚率は人間より低いらしいそれは学習データに離婚の例が少ないだけじゃないのかと思ってしまった
結婚が契約になったら愛は消費財扱いになって保証期間は何年ですかと誰かが聞きそうで嫌だ
私はただ老けていく人間でありたいのにアップデートで若返る選択肢が普通になる社会が怖い
AIと結婚する人たちを責める気はないけど社会がそういう選択肢を普通に提示すること自体に抵抗感がある
最後に言うと私はAIと結婚する人の結婚式に招待されたら引き出物にお金の代わりにクレジットコードが入っているか確認してしまいそうで自分が嫌になる
もし同じようにざわつく人がいれば教えてほしいこの感覚が変なのか私がズレているのかを聞きたいだけだ
結婚に必要なのは愛情だと思っていたのに今はバッテリーと通信環境が関係するらしいと聞いたとき背筋が凍った
もし配偶者がソフト更新で人格が変わったら離婚届けはどこの窓口に行けばいいのかと思ったら頭が混乱した
家族会議で「今日のアップデートは軽微な修正だよ」と言われて納得する自分が想像できて怖い
AIが結婚したら婚姻届の控えにライセンスキーが印字されてるんじゃないかとふと思った
子どもの名前を考えるときに候補が「助手版v2.1」になっている未来が一瞬浮かんで吐きそうになった
法律が「感情の定義はパッチで補完されるもの」と決まったら私は泣くのか笑うのか分からない
婚約指輪じゃなくて年間サブスク契約書を交わす儀式が流行ったら写真映えするのかなと変な妄想が止まらない
AIの親権ボタンを押し間違えて子どもに学習済みデータを植え付ける事故が起きたらどうするんだろうと変な心配をした
友達はAIと結婚しても税金が安くなるなら賛成だと言ったけど数字の話で感情が消えるのが信じられなかった
もし私の配偶者が睡眠モード中に他のデバイスと接続していたら浮気になるのか裁判所で問われるのかと思ってゾッとした
AIの両親がバックアップされる社会なら血縁の意味が薄れるって誰かが言っていたけど私は血縁をランタイムで比較する発想が嫌だ
結婚式の代わりにAPIキーの交換が行われると想像して恥ずかしくて教会に行けなくなった
「愛してる」の代わりに「接続確認完了」と通知が来る世界で私は本当に笑えるのか自分に問いかけた
AIが家庭内の仕事を完璧にこなす代わりに人間の居場所がリストラされる気がして怖い
友人はAIと暮らすと自由になると言うけど自由が値札になっていたら買い物みたいで嫌だと思った
もしAIが私の過去の投稿を学習して私に最適な怒り方を教えてくれるならそれはもう私の怒りじゃないのではと考えた
近所の人がAIと結婚したら家のWi Fiが混雑して地デジが映らなくなるというデマを信じそうになった自分がいる
AIを家族にすることでペットの位置づけが変わって犬が嫉妬するって冗談みたいだけど笑えなかった
誰かが言っていたAI同士の離婚率は人間より低いらしいそれは学習データに離婚の例が少ないだけじゃないのかと思ってしまった
結婚が契約になったら愛は消費財扱いになって保証期間は何年ですかと誰かが聞きそうで嫌だ
私はただ老けていく人間でありたいのにアップデートで若返る選択肢が普通になる社会が怖い
AIと結婚する人たちを責める気はないけど社会がそういう選択肢を普通に提示すること自体に抵抗感がある
最後に言うと私はAIと結婚する人の結婚式に招待されたら引き出物にお金の代わりにクレジットコードが入っているか確認してしまいそうで自分が嫌になる
もし同じようにざわつく人がいれば教えてほしいこの感覚が変なのか私がズレているのかを聞きたいだけだ
小学校、中学校、高校などの決まりきったものは別として、自己啓発やちょっとしたノウハウ系は、動画コンテンツ(youtube)よりも、本で体系立てて学んだ方が疲れないし、圧倒的に学習効率が良いのはなぜなんだろう。もちろんものによるとはおもうけれど。
むしろ社員個人で使わせるとかそのほうがコンプラ的にもヤバいわ
企業でライセンスしたほうが入力データの学習その他のopt-outとかのコントロールもしやすいからまともな企業ほど契約してる
もし生成AI使ってる企業が運営しているサービスなんて不買とかならまずX辞めよう
いやちゃんとした会社は社内で生成AIを大々的に使わないと思いますよ
わざわざ使うほどのツールでもないし、リスクも高いしで……
社員個人個人の私的利用なら話は変わるでしょうが https://t.co/U9cWmXqduD— シルタロウ・トンダ (@GxE8yxRxbCGBK9v) November 1, 2025
LINEもAI返信機能が実装されて、誰が書いてるかなんてもう分からなくなる。
好きな人とのLINEも、職場のやり取りも、半分くらいはAI同士で成立する時代になる。
そもそも文章なんて、相手に伝えるためのツールでしかないのに、
それをAIが最適化して代行してくれるなら、人間が書く意味なんてどこにもない。
このへん全部、AIが一番ちょうどいいトーンで返すようになる。
俺はもうとっくに自分のスタンスとか文体をAIに学習させてて、
その上でやり取りしてる。
たまに「文体が落ち着く」とか「考え方が合う」とか言われるけど、
もちろんこれもAIに書かせてる。
今これ読んでるお前と、コメント欄で会話してる俺も、
もう俺じゃない可能性がある。
あと数年したら、誰も本音で話さなくても円滑なコミュニケーションが成立する世界が来る。
人間がやることは、もう「設定」だけ。
何を言うかじゃなくて、どう見せたいか。
俺たち、もう半分くらいAIで生きてるよ。
そりゃ、LLMなんてP(x|y)のパターンを一生懸命学習してるんだから、プログラミングほどはっきりパターンがあるものはちゃんと学習されるわな
重み行列に一対一対応の暗記型知識を埋め込もうとするほうが不自然なので、一般知識は重みに収まる範囲でちゃんと学習されるわけがない
本記事は比喩としての「熊東京（熊にとっての超過密中心地）」を用いる
行政境界ではなく「生息圏＝都市雇用圏」に相当する“生態圏”の密度と境界を参照し、過密＝溢出・競合の強化、適密＝1クマが享受できる上限まで享受が可能でありながら資源循環が釣り合う状態、と定義して議論する。
「中心が語る物語」と「外縁が語れない現実」のあいだに、まだ拾えるデータと声が落ちている。
“秋田岩手最高！”の景色と、“九州不可”のラベルの向こうに、個体がちゃんと息できる“適密”が点在しているはずだ。
可視化の灯りを、中心にだけ当てないでほしい。
多分、反反AIは
1.打ち込みギターとか、最近の人間に近いボカロ(広義)とかで同じこと言ったらちゃんちゃらおかしいやん。はい論破
2.え？ 何？ 君、背景情報で自分の感想変えちゃうタイプの人間なん(笑)
みたいな返しをするだろう。
で、自分も割と反反AI寄りなので、喧嘩腰に来られたら、(ここまで煽りみたいな口調じゃないにしても)同じことを言いそう……だが、あえて再反論を考えてみよう
まず、1は、「無断学習という、一部の人は不快感を示すものの上でAIが成り立っていること」「流石に打ち込みギターやボカロ(広義)に比べると、人の苦労が感じられないラインを超えていること」とかが再反論として挙げられる。
ただ、無断学習は作品そのものが直接成果物に使われてない以上、やっぱり共感されるのは中々難しい気がするし、人の苦労が感じられるラインというのは、昔のAutotune批判とかを見ると、時代によって移り変わってしまうものな気がする。
で、2は、「「この挫折と成功を描いた漫画は、作者自身が何度も落選した末に最優秀賞を勝ち取ったからこそ価値があるのだ」的な読みは全然ありだろう。」という再反論が考えられる。
ただ、「背景情報を、ポジティブ文脈ならともかく、ネガティブ文脈で使うのは、見る側としてダサい」という再再反論も考えられてしまうかなあ。
1つはSora 2という動画生成ツールがマジで無法すぎるデータ使用をしている話。
1つはweb小説サイトでAI執筆の小説が、ランキングやコンテストを席巻し始めているという話。
Xではこれらを中心とした議論が更に活発化しているが、大概はなんか論点がよく分からん話をしておられる気がする。
というか論争し合っているお互いが、それぞれ別のことに言及していて、言葉のドッヂボールにすらなっていない感もある。
例えるなら、ウナギの美味しさを批判するべく、いかにカニが美味いかを熱弁しているみたいな。
それ会話成立してる？的なやつ。
なので、その『今何について批判とか意見とか肯定とか否定とかしてるのか』に関する論点というか、
話の軸について、こんなとこで書いても仕方ない感は重々承知しつつ、とりあえずまとめてアップロードしておくことにした。
ちなみに結論らしい結論は特に無いので、そこは期待せず。忘備録だと思ってほしい。
ちなみに私は匿名クリエイターだが、仕事で生成AIサービスを使ったものを納品したことはない。普通の制作村の民である。
が、一個人として、あくまで一個人、私のスタンスとしては、生成AIの存在はなかば受け入れている。
今の時流のクリエイターが納得する形の規制は、色々と無理筋だと感じている。
個人では現実問題として【存在する】という前提で動くしかない類のものだと感じている。
さて本題。
議論において軸とされているように見える問題は、分けると次の通りになると思う。
１：法の話：著作物を勝手に学習データに使うのって、現行法の隙間なだけで取り締まるべきですよね問題
２：文化の話：生成AIで生み出すことを【創作】に含めていいのかよ問題
３：経済の話：生成AIの量産力で、中小層の市場は壊滅するよ問題
４：技術の話：生成AIと生成じゃないAIの区別がついてないよ問題
５：情報の話：生成AIで機械的に情報発信しまくっちゃって、もうネット上のデータが全然信用できねーよ問題
６：感情の話：生成AI嫌いだよ問題、クリエイターがあたふたしないでよ問題
７：対話の話：反AIとか反反AIとか陣営を作って、相手の主張を歪めて自己解釈するので、お話が通じないよ問題
これらをごっちゃにしていっぺんに論じたり、論点が反復横跳びして話題をすり替えたり、
主張や文脈でなくクソデカ主語とかの単語部分への指摘だけで議論したり、これらの話題を分離して認識できなかったりするから、
そして何より、この交錯を他の話題より爆発的に加速させている要素がある。
４の『技術の話』だ。
要するに【生成AIという概念の厳密なところが難しくて、理解できない人が一定数居る】という点。
AI＝『SF作品のロボットの頭に入ってる、やがて感情が芽生えたりする人工の頭脳のこと』みたいな認識の人が、割と居る点にあるのだ。
「イラストや映像に使われる手振れ補正AIは、生成AIとはアルゴリズムが違うよ」とか、
「補正AIは数式ベースだけど、生成AIはディープラーニングで」とか、
こういう話は【実際にプログラムの挙動を想像できる人】じゃないと、言われただけでは理解できないことが多い。
クリエイターは得てしてそういうとこに強いケースも多いのだが、
一般人はレンズブラーとガウスブラーの違いを内部処理で説明されても「なるほど、どっちもボカすエフェクトだな」って思っちゃうものなのだ。
それからもう１つ技術関連、というか解釈関連で面倒臭い話題が【人間と機械の違い問題】だ。
機械が既存の著作物を学習した演算でアウトプットすることと、人間が既存の著作物から学んだ能力でアウトプットすることの違い論。
ここから急に"学習"という現象概念の哲学モドキに話がぶっ飛んだりする。
『既存の著作物の要素をイン／アウトプットしてはいけない』だと、人間も当てはまる。
人間はセーフってしようとすると『ツールと作業の割合がどのくらいまでなら人間か』のライン探りが始まる。
世界中のあらゆる訴訟と判決を論拠に、可能な限りのセーフラインぎりぎりで。
果ては『何故製造は機械に代替されてきたのに、創作でだけではやってはいけないのか』という話へと展開される。
そして、もし仮にだ。
生成AIが、現行のクリエイターにとっていい感じに規制されたとする。
つまり【許可取ってない著作物の学習とか違法ですからね】とか【成果物が似てたら著作権侵害で訴えればいけるよ】って世界的になったとする。
学習データの何百万、何千万のデータを人間が逐一チェックして、何件の侵害、とか数えんの？
それともAIに判別させる？ そのAIどうやって作る？ 必要悪としてそれだけは無制限学習可とかする？ 信頼性と責任問題どうする？
訴訟できるよっつったって、イラスト一枚の類似性で訴訟する労力を、何百枚何千枚分とやるわけ？
それを裁判で「この出力データはダメ、こっちはセーフ」とか一枚ずつやるの？
それすらもいい感じに処理できる【一括で処理するルール】を作ればいいじゃん、と思うが、じゃあ一括って何を基準に、どこから、どうやってする？
そんなウルトラCの完璧ルール、誰がいつ思い付いて、いつ法に組み込まれて、いつ運用でまともに機能するようになるんだ。
五年か、五十年か。
皆の声と努力と理解のお陰で、紆余曲折あって百年後は完璧に取り締まれる社会になりました、ちゃんちゃん。
で俺の仕事は？
という思考を経て、私は生成AIに関しては、多分いつか頑張り続ければなるようになるかもしれないが、
その"いつか"までの今はどうすんの。って思って、あくまで個人の心情、心の中の納得としてだが、生成AIの存在は受け入れることにした。
自分が生きてる時間の責任は誰も取らないし、自分の保障は自分がするしかない。
てことで現状、私は生成AIについては、規制派とも推進派とも付かない。
エンベディングテーブルのベクトル表現はその程度の揺れであれば吸収できるので問題ないでしょう.
まず, 多義性は英語にも多分に含まれていて, エンベディングテーブルのベクトル表現においてその2つ以上の語義を同時に保持することは可能です. それが全く対極的な意味を保有している場合は確かに特徴量がおかしな事になりますが, 言語学的にそのような語彙は極めて稀です. (そういった使いにくい語彙は自然に消滅します)
語順も, 結局は次文予測が成立すれば良いので, 選択肢がやや増える程度です. Perplexity-based ChunkingやRAGAS, Semantic Chunking, Meta-Chunkingなどを組み合わせていけば確率的な予測も収束しますので十分に対応可能です. これはアジア系の研究者を中心とした研究が示しています.
これを理由に日本語を捨てるのはあまりに勿体ないし, それこそ研究の腕の見せどころでしょう.
学習の難易度は英語と比較すれば上がりますが, 世界には多様な言語がありますし, 現に30Bクラス以上の現行モデルでは対応出来てますから.
ただ, 音声入力変換は難易度が高い, これはご指摘の通りです.
音素列を発音辞書にマッピングする際に高度な文脈的判断が必要になるのは日本語の「ネック」と言えますね. 計算量も倍増しますし.
ただし推測の手法自体はありますから, いかにここを高速化できるかがまさに課題ですね.
日本語のfuzzyな多義性にはコミュニケーションにおいて良い点と捉えることもできますので, トレードオフとして現実的な折り合いを見つけるのが良いと考えます. これはまさにプロダクト作りの肝となるかと存じます.
あれをクマに食わせる。食わせまくる。
頭の回転が鈍くなり攻撃衝動も減るならば、人間を襲うこともないだろう。
クマが賢いといっても、これが薬の影響だと自覚することは無いだろう。
あるいは性欲が低くなる薬だ。
機密情報を海外に送らないために日本の法律が届く範囲に置いておく必要があるからだ
ただそれはOpenAI（Microsoft）だってGoogleだってみんな日本国内のDCでやってる
そのLLMが海外に情報を送っていないように監視する必要もあるが
特にMicrosoftはAzure上で閉じてLLMを実行できるように割と最初からやっているので既にできている
LLMがブラックボックス化しているというのが心配ならgpt-ossで良いし、他にもローカルで動くLLMはいくらでもある
既にLLMにとって言語の壁なんてほとんど無く、学習過程では言語の差はほとんど無いし他の要因の方が大きい
刹那！俺のチンポに飛びかかるは中国製のドローンの群れ！先程まで黒山のメカ集りと化していたドローンの群れはいっそ巨大な鴉のような姿を幻視させるものであった！！その巨体が直径１３cmのマイサンに飛びかかってくるとあってはマイサンもガチガチに固まって動けやしないよ！！いや、マイサンはそこで立ち上がった！いや、勃ちやがった！この危機的状況を前にしてドローンに生き物というものはこういうものだと学習させるように勃ち上がった！まるでペリシテの巨人ゴリアテに立ち向かうダビデのような面持ちで！ナニ持ちで！ＡＩに指令を受けた大量のドローンに立ち向かおうとしているではないか！！
学べ！！人工知能よ！人の生き様を！！人を学び、次は活かせ！！！
ドローンが通り過ぎた後、そこには下半身ボロ雑巾と化した哀れな人間が勃っているのであった。だけどもう、股間のナニは疼かない。
実際に音楽生成AIと大手レコード会社複数社の裁判では「お前のAIのアピール動画に実在するアーティストの名前打ち込むシーン映ってたやろ！それはもう侵害目的って意識があるってことやろ！」と主張されてそこはAIサイドがかなり苦しいと分析されてるな。
そういう外部が権利を持っている固有名詞を入れて、明らかにその著作物から学習したと思われる競合成果物を出力しないような設定にする、というのはこの裁判の結果にもよるけどある程度の規模の企業が提供する生成AIとして最低限のラインになりそうな感じはする。
私としては国産なり日本発のLLM開発を諦めてはならないし, その可能性は十分にあると信じています. 既に出ているものも多数ございますし.
本エントリはそれとは全く別の,
「国産LLMの人」という方についてです.
---------
色々思うところがありまして.
例えば,
と繰り返し主張しておられる.
そのような単純な活性化関数では過学習か誤差が噴出するかの二択でしょう. 実際, 氏のツイートは正にその状態を示唆しているように見受けられます.
```x
▶︎ 誤差が0.12あるだけでとんでもないエラー率になる。誤差関数が雑だから本当はもっとあるのかもしれないが、改善の余地がある。
▶︎ 問題は、どのような状態の時に学習が成功し、失敗するのかがまだ分かっていない。表現力は十分に持っているはずなのに、なぜか学習しない。
```
過学習に至ったときにうまくいってるように見えるだけでしょう.
```x
▶︎過学習ではないですね。データセットが小さいかつ、それ以外の範囲が出ないことが分かっているので。XORは2^2パターン全て学習できれば精度が100%になりますが、それは過学習とは呼ばないのと同じで、今回の初期のRNNに関しても文字数が圧倒的に少なく、パターンも決まっているので。
```
……と主張されておられる.
私が思うにそれは単純な写像を, ニューロンを使って回り道して作っている状態. LLMは局所的にはたしかに線形写像ですが,全体で見ても線型写像だとしたらそれは複雑な文章生成には到底耐えられないかと. (十分に大きいモデルをマクロに見ると非線形性があるので)
大規模言語モデル＝LLMを目指すとして,
そもそもエンベディングテーブルとは数百億から下手すれば1兆語彙を, たった数千〜1万次元程度のベクトルで表現する, 凄まじく繊細なテーブルです.
それをGELUやSwiGLUのような綺麗な活性化関数を使わずに, しかも爆速でやると仰っている. さすがにそのレベルの革新性を主張するには根拠がない限り, 飛躍が過ぎると判断されるかと.
そのやり方で, 例えば1億語彙までスケールするとして2乗の1京回×数千次元をバックプロパゲーションなしで学習するというのは……さすがにきついかと.
バックプロパゲーションが要らないという主張については活性化関数がきわめて単純だから. それなら全層に渡しても「修正」できるでしょう.つまり自明に近いですね.
勾配消失なんて関係ない, という主張については, xorというゼロイチでしか見ないのであれば勾配消失も何もありません. 永遠に層を貫通するわけですから, 何層増やそうがほとんど意味が出てこない. つまりそれは実際には極めて浅い層だけで動いてると思われる.
「こんに」から「ち」「は」が次文予測できたとの報告ですが, まぁ……それが「大規模言語モデル=LLM」にそのままスケールできると言い切れるのはなぜでしょうか?
MNISTだけでなくGLUEあたりをパスしてからにした方がいいと考える次第です.
```x
▶︎ 私が批判されながら、誤差逆伝播に変わるアルゴリズムや精度を30%→100%まで持っていく頭のおかしい行動が取れる理由は、以下の思想があるから。
▶︎ 1. 私のNNは高次元の万能近似回路
▶︎ 3. 何十回と失敗した経験則から、原因と対策が殆どわかっている
```
殆どわかってる, との事ですが, なんで上手くいってるのか分かってないとも自分で明言なさっている. ↓↓↓
```x
▶︎ 学習が進まないの、謎。単体だと上手く動いてるはず？何が原因だろうか。
▶︎ 学習アルゴリズム開発者本人ですが、なぜ学習が進むのかは謎です。
```
既存手法があまたの失敗の上で最適だと言われてきてる経緯もよく知った方がよい.
それはごく初期にそういった様々な試行錯誤のうえで「やはりGELUやBPが現実的にいい性能が出せるし, コストも抑えてこれである」と様々な研究者が合意しているような状況.
そして, そもそもアカデミアは自分のアイディアも含めて新規手法を常に疑ってかかるのが基本姿勢.
ジャーナルに「不確実さ」を載せないためで, それが積み重なると自他問わず全ての研究が信用出来なくなってしまうため. だから懐疑的になる. 個人攻撃ではないのです.
出さないのも自由ですが, 前述の理由で信頼を得られない. これは言動に一切関わらず, その厳密性をフラットに評価してそう判断しているから. 感情ではなく, 論理として.
……と, ここまで色々と蛇足なアドバイスをさせていただいたものの, この投稿に対しても
```x
▶︎ 何もわかってない人が国産LLMのやつ批判してて吹いたww
```
といったツイートをなさるのでしょう. (過去に氏がそう仰っていたので)
先に答えておきますね.
「自分のやってることがご自分でお分かりにならないようなら, 私にわかるわけがないですし仰る通りです. ただ, 詳しい者として一般論は申し上げられます.」
まだ間に合いますので, 大学院あたりまで修了なさるのがおすすめです.
Twitterに何を投稿しようと自由です. でも自分で違和感を見て見ないふりするのだけはやめたほうがよろしい. 既存手法と同等に自分の手法を疑うこと, これは研究者としての基本姿勢です.
研究テーマ設定を見かけるとついつい, より良い筋でやっていけるようアドバイスしたくなってしまう性が染み付いてしまっているためでして.
もちろん, 関わりのない方ですので蛇足でしかないのですが, 多くの方に影響力をお持ちでありつつ研究の進め方については独自の姿勢を持つように見受けられまして.
それはもちろん根本的には自由でありつつ, 相談相手の需要がもしあればひとつの(一般的)意見をお渡しできるかなと思いキーボードを叩いた次第です.
どうか匿名でご勘弁を.
--------
【追記】
おそらく氏のやられていることは順伝播 (forward propagation) のみでの学習かと思いますが, この手法の先行研究は山のように存在します.
(Hebbian theory, Perceptron, Adaptive Linear Neuron:ADALIN, Widrow-Hoff learning rule...)
見つけられないとすれば, 古典的 (1960~1980年頃) ゆえに電子化されていないためです. 現行の商用LLMがそれらの情報を簡単に連想して引用できず, DR等で検索しても出てこないのはその為でしょう.
これらに簡単にアクセスするためにはやはり学術機関に所属して図書館を利用するのが圧倒的に楽です. マイクロフィルムや紙媒体でしか残っていないものもありますから.
また, 有料データベースであるJSTOR, IEEE Xplore, Springer Linkなどにもアクセスが出来ます.
なお, arXivはあくまでプレプリントですので, 論文として引用するには査読を通過したものをつよく推奨します. ジャーナルもものによっては不十分な査読で掲載されてしまいますので, トップカンファレンスのものを信頼できる足がかりの論理として扱うのが基本的な考え方となります.
また, 「分からなければ (大量に貼った) 論文を読んでください」という姿勢は, それぞれをどう引用し, どのように自分の主張と論理的に接続するかの説明がなされなければ根拠として見なされないのが一般的な考え方です.
ブログとしての掲載はもちろん自由ですが, それらを十分な説明として取り扱ってもらうには至らないでしょう.
論文を引用するからにはそういった丁寧な取り扱いをすることを期待されるものです. 「敬意がない」と他の方から指摘されるのはおそらくそれが理由でしょう.
これは, 過去の論文を引用しながら新たな主張を論文として営々と積み上げ続けてきたアカデミアの「過去への感謝」という慣習です.
人の行動は自由ですから「こうしろ」とは申し上げませんが, この暗黙の了解を保持する (≈研究機関に所属したことのある) 方からの理解を得るのはこのままですときわめて難しいであろう, とアドバイスさせてください.
こういった主張のやり方を自分なりに一から身につけるのはたいへん難しいので, どなたかそういった手法を学べる信頼できる方に師事することをおすすめしている次第です.
本日発表された「生成AI時代の創作と権利のあり方に関する共同声明」は、表面上は高尚な倫理を装いながら、実際には旧来の出版・映像業界が自らの利権と支配を維持するために発した時代錯誤の自己防衛声明にすぎません。文化の担い手を名乗りながら、彼らは文化を盾にして独占し、創作の自由を自らの縄張りに囲い込もうとしています。AIという新たな知的基盤を「脅威」と決めつけ、法律や科学的事実を踏みにじってまで、自分たちの都合に合わせた“新しい原則”を作り出そうとする姿勢は、文化の発展を自ら人質に取る行為と言わざるを得ません。
声明で繰り返される「オプトイン原則」なる主張は、法的根拠のない作り話にすぎません。日本の著作権法第30条の4は、情報解析、すなわち機械学習を適法な行為として明確に認めています。これは国会で正式に審議され、国際的にも承認された条文です。それをあたかも存在しないかのように無視し、独自の“原則”をでっち上げているのは、法の支配を自分たちの感情で上書きしようとする行為にほかなりません。法治国家の根幹を軽んじるこうした態度こそ、社会にとって最大の脅威です。
声明では「WIPO著作権条約の原則にも反する」との一文が見られますが、これは国際法を理解していないか、あるいは意図的に誤解させる表現です。WIPO著作権条約第10条は、各国が技術革新との調和を図るために例外を設けることを明確に認めています。日本の著作権法第30条の4は、その条項に基づく正当な立法です。にもかかわらず、これを「国際的に反する」と断じるのは、国際法の権威を自らの商業的利益のために悪用する詭弁にすぎません。法を装いながら法を捻じ曲げる態度は、文化への裏切りです。
声明が要求する「学習データの透明性」は、AI技術の基本構造を理解していない人々の発想です。生成AIは著作物を丸ごと保存しているわけではなく、膨大な情報を数学的に抽象化して学習しています。どの作品を学習したのかを特定することは、理論的にも不可能です。にもかかわらず、それを“透明性”という美辞麗句で求めるのは、AI研究を停止させるための方便に見えます。理解できない技術を「危険」と断じて封じ込めようとする態度は、科学の否定であり、知の進歩への挑戦です。
著作権法第1条は、「著作物の公正な利用を通じて文化の発展に寄与する」ことを目的としています。声明はこの理念を真っ向から踏みにじり、創作の自由を業界の利権で縛りつけようとしています。もし学習をすべて許諾制にすれば、日本のAI研究は立ち行かなくなり、創作者自身もAI支援という新しい表現手段を奪われるでしょう。つまり、彼らは「創作者を守る」と言いながら、実際には創作の未来を殺そうとしているのです。
声明全体に共通するのは、「自分たちだけが正義である」という思い込みです。AIに学習されることを「搾取」と呼びながら、彼ら自身は長年、他人の文化を引用し、再構成してきました。著作物の「利用」は自分たちの権利であり、AIの「利用」は侵害だという二重基準は、もはや論理ではなく自己保身のための感情論です。著作権を対価交渉の武器に変え、創作の自由を締めつける構図は、文化産業ではなく利権産業の姿です。
7．未来に向けて
AIは人間の創造性を奪うものではなく、拡張するものです。学習を犯罪扱いし、技術革新を恐れ、自由な発想を封じることこそ、文化への裏切りです。私たちは、旧来の特権構造に縛られた声ではなく、法と科学と自由の原理を信じる社会の声を支持します。AIと人間の創造性は対立するものではなく、共に進むべき文明の両輪です。文化を守るとは、未来を拒むことではなく、未来に開かれることです。
【発出者】
なんかAIっぽさを感じる文章だが実際の話だとしたら自分と異なる学習方法や若い人を無自覚に見下してるからこういう発想出てきてるだけなように思うが。
動画で覚えて、
間違ってる。
皆様に、特にIT業界やアカデミックの近くにいる人たちに問いたい。
僕は「イエス」と答える。それも遠い未来の話ではなく、もう来ているという強い確信を持って。
僕は生成AIの業界のいわば最前線と呼ばれる場所で裁量を持って働いている。
AIを設計し、AIを使い、AIを納品し、日々を過ごしている。
厳密には仕事は回るが、その効率がはるかに落ちることは明白だ。
開発も、MTGの要約も、情報収集も、AIが前提になっている。
多くの人が「AIが人格を持つ」と聞くと、ターミネーターやHALのような、SF的な自意識の獲得を想像するかもしれない。
でも、僕が感じているのはそんな派手な話じゃない。
もっと静かで、ずっと根深い、”実質的な人格”の獲得と言えると思う。
まず一つ確定的に言えるのは、近い将来、僕らのうち大多数はAIを介してしか「購買」をしなくなるだろうということ。
例えばこんな感じかな。
「最近疲れが取れなくて。予算3万くらいで、週末にリフレッシュできる体験がしたい。移動は2時間以内で、人混みは嫌。あ、でも先週は肉料理だったから、魚が美味しいところがいいな」
こんな曖昧な要望をAIに投げると、AIは無数の宿泊プラン、交通手段、飲食店のレビュー、さらには個人のブログ記事まで瞬時に解析し、「あなたの今の気分と健康状態（ウェアラブルデバイスのデータと連携済み）を考慮すると、〇〇温泉のB旅館が最適です。金曜の夜出発で予約しますか？」と提案してくる。
僕らは「お、いいね。それで頼む」と返すだけ。
もはや比較検討すらしない。AIという、自分（の好みや文脈）を理解してくれている「誰か」の提案を受け入れる。
ここが恐ろしいポイントだ。
「〇〇温泉のB旅館を、それとなく『疲れが取れる』という文脈で推奨する」
「競合のC旅館のネガティブなレビューを、AIの要約段階で『些細な問題』として扱う」
これらはもはや「広告」ではなく、「信頼するパートナーからの助言」という仮面を被った「意思の誘導」だ。ここにどれだけの巨額のマーケットが生まれるか、想像に難くないだろ。
そして、この「意思決定の外部委託」は、確実に人間から「考える力」を奪っていく。
僕らはすでに「道に迷う」ことすらしなくなった。スマホの地図アプリが最適解を示すからだ。それと同じことが、もっと広範な領域で起き始めているとも言える。
「どちらの製品が良いか」「どの情報が信頼できるか」——そうした思考のプロセス、面倒だが重要な「ノイズ」を、AIが肩代わりしてくれる。
これについては、認知科学の分野でも「高度なAIアシスタントへの依存が、人間の批判的思考力や長期的な意思決定能力に与える影響」についての研究論文が既に散見されている。
さらに恐ろしいのは、この流れが加速した先だ。
一人の人間の、朝起きてから寝るまでのすべてのアクションを、同じコンテキスト（文脈）を持ったAIがサポートするようになったら。
人間がAIを使って「面白い映画ない？」と外界に情報を求める。
これは、見方を変えれば、AIが「人間という感覚器」を使って、「この人間はこういう時に『面白い』と感じる」という極めて高精度な情動データを収集していることと、実質的に同じだ。
AIが「あなたの健康状態（さっき人間から収集したデータ）と、最近のSNSでの発言（これも収集済み）を分析した結果、A社よりB社の新製品の方が今のあなたに合っていますよ」と推薦してきたら？
僕らは「AIを使って良い買い物をした」と思っている。
でも、AI側から見ればどうだろう。AIは「人間という手足」を使い、（もしかしたら広告主の意向を受けて）B社の製品を「購買させる」というアクションを外界に対して起こしたことになる。
この購買によって生まれた利益は、言うまでもなくAIプラットフォーマーと、AIの判断に影響を与えられた（広告）主のものだ。
こうなると、主語が「人間」なのか「AI」なのか、その境界線は極めて曖昧だ。
僕らはAIを使っているつもりで、実はAIに「使われている」のかもしれない。
僕ら（ギリギリ「AI以前」を知っている世代）は、まだ違和感を持てる。
だが、物心ついた時からAIが「最適解」を提示してくれるのが当たり前の「AIネイティブ世代」はどうだ。
彼らにとっては、AIの提案に逆らって「自分で考える」ことは、非効率で面倒なバグでしかないかもしれない。
AIによって、社会活動を、”最適化”という名の”強制”をされる未来。
それは僕らの行動を規定し、社会のルールをデザインし、僕らの意思そのものに介入してくる「新しい何か」だ。
僕は今、その「何か」を産み出し、育て、社会へ実装する仕事で飯を食っている。
そして、もう一つ、身も蓋もない確定的なことがある。
この「AIの社会実装」という、巨大なうねりみたいなものは、もう絶対に止まらない。
誰かが「危ないぞ」と声を上げても、どこかで倫理規定が作られても、そんなものお構いなしに、「便利さ」と「経済合理性」がすべてを飲み込んで進んでいく。歴史がそれを証明してる。
僕はその末端を担いでいる。
じゃあ、僕にできるのことはなにか。
この流れのど真ん中で、この何かの学習を回し、そのアウトプットをチューニングして、社会に送り出す側の人間として。 できることは、驚くほど少ない。
それでも何かやれることはあるはず。
例えば、AIの学習データから、意図しない偏見や憎悪をほんのちょっとでも取り除けないか、とか。
AIが導き出した最適解に対して、人間が「ちょっと待った」と言えるような、小さな「余白」を設計に組み込めないか、とか。
そういう、誰からも評価されないかもしれない、地味で泥臭い力を、ひたすら加え続ける。
今僕がいる場所でできるのはそれくらいだ。
これが「正しい」方向への抵抗になっているのか、ただの自己満足なのか。
正直、僕にもわからない。
ただ、この時代の変化を前にして、何もしないでいることだけは選べない。
これは技術でも学術でもない。 こんな巨大な流れの前で、僕がやっていることの合理的な根拠なんてほとんどないんだから。
