2025-07-02

AI技術的に根本から全く使えない3つの理由

https://anond.hatelabo.jp/20250630114221 https://anond.hatelabo.jp/20250626125317 https://anond.hatelabo.jp/20250627100609 https://anond.hatelabo.jp/20250628122821

AI技術批判する記事がバズりまくってるが、それに対して凄い数の批判がいってる、だけど肝心の批判個人攻撃めいていて、どれも技術的な部分はふわふわした物言いなので

どれだけ技術的にまったく使い物にならないかを、技術から3つ理由を上げようと思う、これを見れば、確かにAIってそんなもんじゃないな、って正しい理解が進むと思う、と同時に、

ネットAI擁護したり喧伝してる人間で誰一人、エンジニア自称したりしてる奴らでさえAI理解してる人間ゼロっていうのがわかると思う

ちなみに、IT技術全然知らない増田向けに技術的な部分は補足説明を入れているので、ちょっと長くなってるかもしれない

① LLM言語モデル本質意味理解ではなく「統計予測」、プログラミングに使えるというのは全く嘘、技術的背景から考えても二度手間になるだけ

LLMがわかっていない!と喚いてる当人たちも上で言った通り、LLMっていうのが理解できてないの丸わかりなので、ここでまずLLM「大規模言語モデル」とは何かを簡単説明しよう

生成AI特にChatGPTのような大規模言語モデル、LLM)というのは「文脈に最もふさわしい次の単語予測する」」という統計タスクを行っている、これがLLMだ

わかりやすい例で言えば「私はコーヒーを」という文を書いたらAIはこう判断して動いている

「飲みます」→90%の確率 「買いました」→7% 「投げました」→0.5%

というような統計予測をして、「飲みます」を選ぶ

この過程には、意味理解感情意図文脈の内的把握は一切関わっていない、これが致命的な欠陥の1つ

プログラミング自動でまるで仮面ライダー01の01ドライバーの様にベルトの作成までやってくれているように喧伝してる奴らが多い

が、これを本気で信じ込んでプログラミング言語を書かせた奴がいたら、ほぼ間違いなくクビになる

わかりやすく上で例えた通り、LLMは、インターネット上に存在する膨大なコード断片・技術記事GitHubリポジトリ・Stack Overflow投稿などを学習している。

そのため【よく使われる文法構造】や【特定言語における関数の使い方】や【ライブラリ典型的な使い方】などを【意味を全く理解できず模倣している】だけって事

意味理解や構文チェックをしているわけではない、だからこんな問題が頻発する。

【動かないコードをアホほど入れる(変数が未定義、型が合っていない、ライブラリ存在しない関数を呼んでいるとかい小学生プログラミングスクールでもありえないミス

【. 「それっぽいけど間違っている」コードを大量に入れ込む(SQLインジェクションXSSなど セキュリティ危険実装を入れまくる、パフォーマンスが極端に悪い実装バグを含んでいるロジック特にif文の条件分岐ではほぼ100%発生する)】

もっと致命的な問題はこれ↓

【実行環境依存した誤り(存在しないAPIライブラリを使う、ほぼ9割の確率で…あと特定PythonバージョンNode.js環境しか動かないコードを汎用的に提示、つまり動きようがない)

専門的な意見となったのでわかりづらいので、もっとわかりやすく言うと「小学校プログラミングスクール入りたて1週間の子供が書いためっちゃくちゃなプログラミングにすらなってないコードを、製品利用するからレビューして出してこい」と言われてるに等しい、つまり最初から自分で書いた方が早い2度手間になる

これが、プログラミング革命だ!とか喚いてる奴らが隠すAI実態である

ちなみに↓がAIに書かせたコードの1例、

import jwt

token = jwt.encode({'user_id': 123}, 'secret', algorithm='HS256')

一見正しく見えるだろうから解説すると、実際には 【jwt という名前ライブラリ】が複数存在し(PyJWT, python-jwtとか)importの仕方によってエラーが出たり挙動が変わったりする。普通な絶対間違えない様な挙動AI構造上全く判断できない、これは上で上げた根本的な問題なので恐らく絶対解決できない。

② AI最大の欠点ハルシネーション これは永遠に解決ができないメビウスの輪

ハルシネーションがどういうものであるのか、AI批判でバズった記事などで言及されている通り、デマデタラメを出力してしまう、あれは本当にわかやすAIの致命的欠陥を検証してるので、あえて説明はここではしない。

しかもその増田の元記事では「文章データテキストまで読み込ませれば間違いがなくなるのでは?」といってたが、これも絶対になくならない、というより、もっとひどくなる。

批判をしている増田やXでの意見は単なる個人攻撃誹謗中傷のみで、技術的に改善可能プロセスさえ示せていない、例えば現在研究者の間では以下の様な解決案は研究されているが、どれも全く問題外とされている

検証システムとのハイブリッド…いわゆる「RAG」】

これは、AIが「知っている風」に語る代わりに、外部の信頼できるデータベース検索エンジンから情報を引っ張ってくる方式、バズった元記事増田がやっていた「自分図書館言って本の内容読んで誤りであることを確認する」これを検索エンジン使ってAIさらやらせる、という機能

また【メタモデル】すなわち、AI自分の出力を裏でさらに別のAIが別プロセスでチェックして間違いをただす、という方式研究されてる。

これは致命的な欠点が2つある、まず「検索で引っ張ってくる知識のものが間違いだった場合さらに間違いの結果を出し続ける」ということ。

記事増田MP5というマシンガン有効射程について突っ込んでいたと思うが、これが典型的RAGメタモデルの致命的欠点元増田は「実際に自分の手で銃を取り扱ったりしたことがある確かな経験で言ってる」が、書籍などの工業スペック仕様書定義しかネット上では流布してない、だからそもそも答えというものAIがたどり着けない。

2つ目は「文脈倫理常識道徳根本的に読めないので、解決策が乱暴すぎるもの」になる。

上で上げた鉄砲以外では、例えば医学などでこれをやってしまうと取り返しのつかないことになる。例えば医者の投薬治療治療ガイドラインに従ってるというが、優れた医者論文を読み込んで原理不明だがエビデンスはあるので、漢方薬を出したりするというお医者さんがよくいるだろう。あれは実際に患者を診て、西洋医学的には全く問題ないが、心理的な面も絡んで心身症になっているから、論文などで勉強して「暗黙知経験知」として処方してるし、その量も患者を診た医者経験で精度を上げている。

そして医療分野では、「冷え性の軽いむくみ」に対して「サムスカ(トルバプタン)」という劇薬指定危険利尿薬をAI提示した事例すらある。これを「笑い話」で済ませることはできない。

例えるなら判断が「脳外科医竹田君」並になる、投薬治療で3か月で治る程度の病気を、病根から外科手術で切除しましょう、なんて提案になる。最新のAIなのに80年前みたいな医学知識判断になってしまうのだ(胃潰瘍ってだけで胃袋は全摘、ついでに脾臓盲腸もいらねーからとっとこ、みたいな手術が昭和の昔、本当にガイドライン治療だった、「K2」などで言及されている)

学習できるベースがどうしても偏る以上、情報統合限界がある、さらに間違いが間違いをよび、さらに変な間違いを起こしたりありえない架空のことをいったりする、これがハルシネーションというメビウスの輪である

Neuro-symbolic AIという次世代さら文脈も読み取れるアーキテクチャAI研究しているが、全く実用化されていない、核融合量子コンピューターみたいな雲をつかむ話なので、AIがこの問題解決することは恐らく今後数百年はありえない、という結論が出ている。

③ 文化的偏在(Cultural Bias)

元増田記事批判もあったが、恐らくAIで一番致命的な問題はこれ

基本的AI英語ソース、つまりリングワ・フランカで圧倒的にテキスト量の多い(約95%)英語日本語含めそれ以外の全世界言語が5パーセントという偏った学習になっている

そのため、倫理道徳常識規範などがすべて西洋基準になってしまう、という問題がある。(元増田はこれを「脱獄基準倫理は誰が決めるのか?」と根本的な問題に気が付いていて批判していたようだ)

ちなみに、バズってた例の記事に「AIに書かせたんだろ」という批判も大量にあるしよくみかけるが、この場合においてのみ言うなら、これは③の問題からまずありえないということがわかる、以下が根拠

【滅茶苦茶一部の人間にしかさらない罵詈雑言

元増田は「俺達の麻生かいって秋葉原で踊ってた…」とか「レムちゃんエミリアたん、ヘスティアちゃんウマ娘たん、刀剣乱舞くん、ライカン様…」といった批判を繰り返し書いていた

これに激怒できる人間は、2005~2010年オタク界隈や秋葉原にすでにかかわっていて、実際に渦中にいたか同じ属性人間しか罵倒されていると文脈的に理解できないのである。つまり、大量の英語文化圏情報を食ってるAIではなんでそれが罵声侮蔑なのか理解できないので、書きようがない表現の数々、であるということである

AIからすれば「ライカン様?ウマ娘?なんじゃそりゃ」なのであるもっと言えば、その直後にコンテクストとして「アホ、ボケ弱者男性豚丼性器自慰で虚しく…」といった言葉があるから、なんならAIウマ娘ライカンキャラクターでなく侮蔑単語として理解してしまう、これは実際、元増田記事の一文をAIに食わせて質問したらガチでそうなるので、ぜひお手元で試してもらいたい。

【それ以外にも世界的にこんな問題がある】

プログラマーイメージを描いて」と依頼すると、男性画像ばかりが出るされる

看護師」→女性、「エンジニア」→男性という職業的性差自動的に反映される

アフリカ文化」→貧困紛争サバンナなど、植民地主義視点が強く反映される(実際は南アなどはすげえ都会である)

これに前述のハルシネーション問題として現れれば、人間と同じような差別偏見を「ガチ真実」として学習してしまう、人間場合、8割くらいは本当はおかしいこととメタ批判心理的にできるとされているが、AIにはその構造根本的に存在しない。

AI信者陰謀論者になるという本末転倒

元増田記事コメント欄やXなどで元増田AI批判批判しつつ、「金持ち上級白人専用のハイエンドAIがあるに違いないんだ」といっている意見が少なくない数がある。

冷静に考えれば、そんなめんどうくせえもん誰が作るんだ、と普通に考えればわかるのだが、この③の問題、すなわち95%の学習データ英語ソースなので、結果的西洋文明ベース文化圏人間向けにカスタマイズされているので、アジア圏やその他文化圏では利用に不利でそう感じてしまう素地ができている、という錯覚に由来している

例えば、パレスチナ問題などがそうだ、ガザ地区でほぼ国際条約や人道違反の残虐行為を国が行っているわけで、他文化圏や歴史的文脈から見ればどっちかって言えばパレスチナ人こそ被害者なのだが、イスラエルから見ればそれは正義であり正当な攻撃なわけで、後者の方がAIは正しいと判断した結論を下す様になる、といった問題である

これも上記問題に由来した結果である

あの記事元増田は「テロ組織ヤバイマニュアルまで学習してpdfで元データ提示してきた」と言っていた。実際AIに調べさせて持ってこさせてみると、出所アメリカ法務執行機関研究用にネットで公開したものであった。

日本人日本警察対応レベルで「ヤバイものでも、海外軍隊みたいな装備の警察で見れば大したことがないから、公開させてもいい=倫理違反には当たらない、という文化規範意識の違いを、あの元増田自身証明してしまっている、あの記事は、AIの治しようがない根本的な技術的欠陥をほとんど言及しているといっていい

AIは確かに便利だが、既存技術しかないし、既存技術の延長線上にはなれないし、技術ブレイクスルーにもならない

元増田が口汚く罵っている内容の様に、「AIは0を1にできないか格差が広がるだけ」という根本的な哲学を投げつけている

それを受けて批判してる意見の中には「(自分が1を持ってる側と何故か根拠もなく信じ込んでて)100にできるから(なら)便利」とか「そのAIから勉強したりしてる俺たちは先行者利益強者になれる」と信じて疑わない意見が多かった

問題の通り、そもそもキリスト教圏かつ非英語圏の国家で生まれて育った民族、というだけで、我々は等しく「0」側の人間であり、結局競争になると勝てない、ということに全く気が付いていないのである。ここにAI信者の宿痾といえる病理がある

かつて日本人黒船を見て5年そこらで蒸気機関模倣した、火縄銃を一丁買えば10年でオスマン帝国の次に鉄砲を使うようになった、それは当時の日本人の基礎工学技術が導入可能なほど優れており、かつそれに対して現代では考えられないほぼバクチといっていい投資を行った結果であって、その結果を見て自分たちはAIを使いこなせて強くなれるなんていうのは、物凄い妄想である。つまりAIは少なくとも「非英語圏」の人間にとっては、ブレイクスルー絶対に起こりえない、ということである

記事への反応 -
  • https://anond.hatelabo.jp/20250627100609 まず、上記の「全然使えない」という感想は、的確で正しい。 自分は、まだ素朴なニューラルネットワークで光学文字認識(OCR)で精度を出していた頃からこ...

    • https://anond.hatelabo.jp/20250630114221 https://anond.hatelabo.jp/20250626125317 https://anond.hatelabo.jp/20250627100609 https://anond.hatelabo.jp/20250628122821 AI技術を批判する記事がバズりまくってるが、それに対して...

      • claude code知らなさそう

        • あれも全然問題解決できてないけどね

          • あえてai(というか、llm)だけしか見ないことで間違ったことを言わずに印象を操作する増田

        • それも過去の膨大なソースコード読み込んで、似た結果を吐き出してるだけやん まあコードは正か非かしかないから、思想や感情吐き出すAIよりは使い方ありそうだけどな

          • 似た結果というか、next tokenをcontext windowから予測しているという仕組みから言えば、過去にないcontextが入力されれば新しい予測がされる 膨大なパターン構築器みたいなもんだからな だ...

      • モデルも組んでるガチ勢だが 言ってることは不正確とはいえ正確に書くのは無理だし大体そうだなとは思うんだけど 実際のITの現場ではかなり使えてる 例えばさっきキーがないカラム2...

      • すごい早口で言ってそう

      • 君の言う内容に、俺も概ね同意するものの、 君の批判は「AIを万能かのように喧伝するやつ」にのみ有効であり AIの有用性の実際の評価については、それほど有用ではないだろう。   そ...

      • 要約したぞ   ① LLMは意味を理解していない • LLM(大規模言語モデル)は「次にくる単語」を予測しているだけで、意味を理解していない。 • プログラミング支援も表面的な模倣...

      • 自作自演? 元増田のおっさんについては、キモオタ然とした独特の文体で悪態ついて各位から突っ込みの集中砲火を浴びつつも、ちょっとずつAIの使い方についてお勉強が進んでいるよ...

      • 本質的な観点は合ってんだけど、元増はaiの使い方が下手というか、懐疑的ゆえあえてaiのミスを誘導する使い方をしてるんじゃねえかな。 俺も懐疑派ではあるんだけど最新のaiだともっ...

      • 機械学習のこと何一つ理解できてなさそう

        • なんで機械学習というワードが出てくるんだ。

          • ん?そういうこと書いてくる時点で理解できてねえんだよ DNNの基本である特徴抽出能力を理解してないじゃん 教師あり学習と教師なし学習を同時にやってのけるのがDNNの最大の強み...

      • サンキューChatGPT

      • anond:20250702084303 これとかまさにそれで 「LLMは確率的に次に来る文字列を予測してるだけ!」 とか分かったフリして叫んでる そんなのChatGPTが出てくる前のGPTの頃からみんな言ってたわけ...

      • 「飲みます」→90%の確率 「買いました」→7% 「投げました」→0.5% というような統計的予測をして、「飲みます」を選ぶ はい嘘。低確率のもランダムで採用するから!もっと熱...

      • AIにコードを書かせるみたいなことをしているけれど、 めちゃくちゃやる気がある、いろんなことをそれなりに聞きかじって知っている新人さんにコードを書いてもらうような感じだと...

      • と言いつつこの文章もAIに書かせてるじゃん もし、書かせてないなら単にAI使いこなせてない無能

      • ただ単に機械的に処理してるだけだからなAIって CPUや処理性能上がってそれっぽく動いてるだけで 一回80年台から2000年にかけてAIブームあったのと同じ ただ、今は当時と違ってIT化が進...

        • それはそう ChatGPTやGrokやGEMINIの挙動確認すると当時おれが作ってたやつのそっくりだもんなあ… AIというより人工無能だよねこいつら

        • おっとLispさんの悪口はそこまでだ

      • 「あくまでアシスタントやぞ!」という意図を込めたcopilotというネーミングは、Microsoftにしては気が利いてるなあと思っている。

        • IT巨大企業が猫も杓子も「根本的に使えない技術」の開発に躍起になってるのはなんででしょうね…

      • なんだこのクソデカ釣り針は というか「AI信者ガー」とか言ってるくせに文章にChatGPT使ってる時点でダブスタというか釣り目的だろこんなん…

      •  解説ありがとう。  あくまで言葉を模倣しているだけで実際に推論しているわけではないのね。そしてそこまで発展させるのはかなり難しいという…。 だからOpenAIもジブリ風画像で...

    • 身銭を切ってでも今の生成AIブームに食らいつくべき、という話も聞くが、個人的には懐疑的だ。もっとより良いものがもっと安価に使えるようになると思う。 タピオカ屋とかと同じ...

      • 必死こいても先行者特権なんかないよ 誰にでも使いやすくなるよ というスキームに対してお前は転売屋程度の低次元な絡みをしているよ

        • OCR増田がこれ言ってるんだとしたら、 技術屋として体系立ててCS学ぶってことしてこなかった 文系SEなんだろうなと思ってしまう

    • ChatGPTが出始めの頃に「技術的に大したことやってない」って言うAI研究者いたけど ChatGPTのブレイクスルーは忖度チャットを知的に見せるプレゼン力なんやろなあ 必要なのは本当に正し...

      • 世の中の99パーセントの人間は技術的に大したことしてないからね 十分革命的なんだよね

      • それちょっと解釈がズレてんね 当時流行ってたDNNによる時系列予測モデルのバリエーションを使って単語予測する、という学部生が思いつきそうな簡単なタスクやらせただけなのに(技...

        • 大量に学習させるとパフォーマンスとても悪くなるから、そこからさらに学習させた先に高知能aiがあるとは誰も思わないよなぁ…

          • モデルパラメータを増やすと汎化性能が落ちるという、これまでの機械学習の常識が崩れたのはかなりインパクトあったな ただ増田は勘違いしてるかもだけど、データはありったけあっ...

    • 長いのでChatGPTに3行にまとめてもらった 「AIは全然使えない」という感想は正しく、現行の大規模言語モデルは偶然に「知的に見える」文章を生成しているだけで、推論能力や正確な知...

    • AIと聞けば無我夢中で触っていたおじさんがこうやってムキになって反論するくらいには下火になってきてる…ってこと!?

    • LLMを開発してる会社の社内用AIチャットボットって、忖度なしで正しい回答をする方向にチューニングされてたりするのかな。 俺もそっちが使いたいなあ。

    • 続きを書くのか 間を埋めているのか https://www.anthropic.com/news/tracing-thoughts-language-model

    • 今広く使われているAIがこれまでと大きく変わったところはただ一つ。 チャットボットになった。 これだけ。 今までは「検索」→「結果を見る」→「検索」を繰り返していたのが、格段...

    • Appleの論文ってのはこれのことやね https://www.itmedia.co.jp/aiplus/articles/2506/09/news077.html 問題は、ChatGPTをはじめとする現在の生成AIツールが、あたかもそれらを行うことができるように"見せ...

    • 大規模言語モデルは、本質的には「続く文章を確率的に返す(答える)」というものから一歩も外へ出ていない。 いつまで言い続けるんやろうか AI(ニューラルネットワーク)って意図...

      • https://www.itmedia.co.jp/aiplus/articles/2506/09/news077.html  研究の結果、LLM(大規模言語モデル)とLRM(大規模推論モデル)が数学的な問題解決で、真の論理的推論ではなく、訓練データに基づ...

        • AIで全く成果の出してない落ち目な企業Appleが出してその筆頭著者がインターンな論文がなんだって?? “きちんとAIで成果を出している企業” Anthropicから出た反論の論文も記載しろよ ...

          • リンク貼れ

            • https://innovatopia.jp/ai/ai-news/57666/ これか。 特に、ハノイの塔で15ディスクの場合32,000手以上必要となるため、トークン制限により出力が制約されることを指摘した。また、川渡りパズルの...

    • なんでこう微妙に勘違いしてる人から雰囲気それっぽいだけで的外れな評論ばっかり出てくるんだろうな。LLM界隈は。 ちゃんと使って仕事してる人はこんな評論を書く必要も暇もないか...

    • OCRやってた人の割に情緒すぎない? なんか、技術屋っぽさ感じないのはなんで?

    • まだGPT-3の頃の話してる… LLMの表層的なアクションは単語列に続く単語の予測だが、モデルが文全体の意味・語順・文脈などの構造を捉えていることが重要 ブコメでも指摘されてるけどC...

    • https://anond.hatelabo.jp/20250628122821 それは、勝手に人間と同じレベルの挙動を期待してしまうからだ。 分かりやすい例を挙げると、HONDAのアシモ。 人型を取っているため、人間と...

      • いや、勝手な期待じゃなくて、サービス提供側が「検索に使えますよ」「論理的に考えられますよ」ってアピールしてるんじゃん。

        • 使えてるじゃん 今のインターネットがゴミカスなだけ 目検して有用なソースを指定してそれだけ取り込ませればいい

      • 勝手に期待してるって言うけどAI技術アピールしてるIT企業は投資や売り上げを集めるために誤解させようとしてますよね?(ひかえめに言っても誤解を放置してる)

    • 課金したChatGPTにコードを書かせて、実行した結果のエラーをChatGPTに貼って、さらに修正して、という作業をしたことがある人もいるだろう。いま来ているXXX CLIの熱狂は、基本的にはこ...

    • 単純作業以外で「使い物になっている(ように感じている)」人って、本人や周りのレベルが低い人だよね そういう人たちを底上げするのにはいいかもしれないけど、デマで信じ込んじ...

    • 納得感のある説明だ。おれはAIは「知ったかぶりの物知り」ととらえてる。 ある部分では正確で、ある部分では知ったかぶりだから。でも数か月単位で「前にできなかったこれが、出来...

    • 思えば遠くまでニューラルネットは来たもんだ、しみじみ

    • それっぽい事言ってるけど、この人まったくLLMを理解してないね。 すくなくとも、分散表現、トランスフォーマ(Decoder-onlyモデル)、topK、 topP 、あたりを理解せずに 知ったかぶりでそ...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん