「ChatGPTの全貌」
岡嶋裕史「ChatGPTの全貌 何がすごくて、何が危険なのか？」について。
このブログでは、過去に何度かChatGPTに触れてきた。
"ChatGPTを使ってみた"(2023-03-06)、"Stupid GPT"(2023-04-15)ではChatGPTをターゲットにしているが、他にもChatGPTに言及したものがある。
ただこれらはいずれもChatGPTの凄さは認めるけれど、こんなバカなこともするというように、抑制的にとりあげている。
本書でも、こんなバカなことをすることもしっかり書いてある（それはChatGPTというものの特性を理解すれば納得できる）。
順序は逆になるかもしれないが、まず本書にあるその例を引用しておこう。
もちろん大間違いである。私は前にもChatGPTは「考えていない」と指摘しているけれど、そこはレベルが上がっても変わっていないようだ。
もちろんそういう部分は改善されていくだろう。ChatGPTは言語を扱うもので、自分の役割でないと判断して、推論を得意とする別のAIモジュールを使って正しい答えを出していくに違いない、本書もそう予想している。
ChatGPTのバージョンは現在は4.0で、これは有料サービスである。著者はもちろん4.0を使用していて、本書は4.0がベースである。無料サービスは現在は3.5となっている。（私が以前にChatGPTをとりあげたときはまだ3.0だったかもしれない。）
ChatGPTのバージョンでは何が違うのかといえば、学習したデータの量と「パラメータ」（特徴量）のようだ。
GPT-1の学習データは数GBだが、GPT-2では数十GB、GPT-3で数百GB、GPT-4では数十TBだという。
特徴量のほうは、GPT-1で1憶、GPT-2で15億、GPT-3が1750億、GPT-3.5で3500億、GPT-4ではなんと100兆に達したといわれているそうだ。
特徴量が大きければそれだけ自然な言葉を紡ぎ出せるようだ。
ChatGPTは、LLM(大規模言語モデル）というカテゴリーのAIである。
どれだけ学習し言語を扱えるようになっても、言葉としてのつなぎは自然になっても、そこに意味理解は存在しない。言葉を並べていくときに、確率的に次に続く言葉を選んでいるだけのようなものでしかない。
余談になるけれど、言葉の本質は確率的に決定されるものではないと私は思っている。
数学的には言葉は究極の世界である。すべての命題は言葉で表現される。
そこで言う言葉とはなにか？ それは有限個の記号からなる記号列全体の部分集合であることは自明である。そのアイデアからは数学の不完全性（ゲーデル）も導出される。
また、ある本の文字の並びをそのまま数の位取り記法だと考えたとき、それが表す数は、その本の内容を完璧に写し取ったものになるはずである。（１文字でも違えば別の値になる）
それはさておき、そうした意味での論理言語はLLMのアプローチではあやつれないと思う。
これだけ大層な仕掛けと膨大なデータを使って得られるのは、昔からあるジョークソフトと同じなのか。
もちろんそうではない。次の記事ではそのあたりを考えていこう。
このブログでは、過去に何度かChatGPTに触れてきた。"ChatGPTを使ってみた"(2023-03-06)、"Stupid GPT"(2023-04-15)ではChatGPTをターゲットにしているが、他にもChatGPTに言及したものがある。
ただこれらはいずれもChatGPTの凄さは認めるけれど、こんなバカなこともするというように、抑制的にとりあげている。
本書でも、こんなバカなことをすることもしっかり書いてある（それはChatGPTというものの特性を理解すれば納得できる）。
順序は逆になるかもしれないが、まず本書にあるその例を引用しておこう。
「考える」 問いは苦手
Ｑ 表に数字がそれぞれ1つずつ書かれたカードが2枚あり、それらが裏返しに置かれています。その2枚をAとBとします。Aのカードに書かれている数とBのカードに書かれている数を足すと、10になります。また、Aのカードの数は、Bのカードの数の2つ分より大きいですが、3つ分よりは小さいです。A、Bそれぞれのカードに書かれている数は何でしょう?
Ａ AとBのカードの数の合計は10で、そしてAのカードの数はBのカードの数の2つ分より大きく、3つ分より小さいとのことです。
これは次のように理解できます。 まず、AとBの合計が10であることから、AとBの数はそれぞれ1～9の範囲にあると考えられます。次に、AはBの2つ分より大きいとのことですから、Bは最低でも3以上でなければなりません (AがBより2つ以上大きいため)。さらに、AはBの3つ分より小さいとのことなので、Bは最大でも7以下である必要があります (AがBより3つ以下でなければならないため)。
これらの条件を満たす数を見つけると、Bのカードの数は4で、Aのカードの数は6であることがわかります。AとBの合計は10で、AはBの2つ分より大きく、3つ分より小さいですから、この解答が正しいと言えます。
Ｑ 表に数字がそれぞれ1つずつ書かれたカードが2枚あり、それらが裏返しに置かれています。その2枚をAとBとします。Aのカードに書かれている数とBのカードに書かれている数を足すと、10になります。また、Aのカードの数は、Bのカードの数の2つ分より大きいですが、3つ分よりは小さいです。A、Bそれぞれのカードに書かれている数は何でしょう?
Ａ AとBのカードの数の合計は10で、そしてAのカードの数はBのカードの数の2つ分より大きく、3つ分より小さいとのことです。
これは次のように理解できます。 まず、AとBの合計が10であることから、AとBの数はそれぞれ1～9の範囲にあると考えられます。次に、AはBの2つ分より大きいとのことですから、Bは最低でも3以上でなければなりません (AがBより2つ以上大きいため)。さらに、AはBの3つ分より小さいとのことなので、Bは最大でも7以下である必要があります (AがBより3つ以下でなければならないため)。
これらの条件を満たす数を見つけると、Bのカードの数は4で、Aのカードの数は6であることがわかります。AとBの合計は10で、AはBの2つ分より大きく、3つ分より小さいですから、この解答が正しいと言えます。
| AIに知性はない。では人間は？―はじめに | |
| 第１章 ChatGPTの基礎知識 | |
| どんな話題でも精度の高い答えが返ってくる/話相手として成立する/堅い話題にも対応/うますぎる読書感想文/読書感想文の書き換え/知らないこともある/文脈を覚えている文体や語調、語彙を整える/なぜ世界的なブームになったのか？/よくわかっていない「知能」の実態/ふわっとした「シンギュラリティ」という概念/「強いAI」と「弱いAI」/すべてが弱いAI/1960年代の第1次人工知能ブーム/幻滅期/1980年代の第2次ブーム/将棋ソフト/羽生善治の慧眼/機械学習の登場―第3次ブーム/機械学習3つの手法/手法を組み合わせる/「人間の能力」という制約を超える/ディープラーニングという切り札/画像認識と自然言語処理で威力を発揮/ユーザーもChatGPTの開発に貢献/コンピュータに囲まれた環境に馴染んだタイミング/ChatGPTはイノベーションと呼べるのか？/「でかくする」はイノベーションか？/新たな価値を生み出した、という意味ではイノベーション/誰がどうやって作ったのか？―OpenAI/育てる難しさ/Generative Pre-trained Transformerの略/データセットの良し悪し/ChatGPTは育成ずみ/自然言語処理向けのディープラーニングモデル/乱立する「○○GPT」「××GPT」/空前絶後の大ヒット/巨大なコーパスと特徴量/でかさは正義 | |
| 第２章 ChatGPTはここがすごい | |
| 途方もなくでかいシステムをファインチューニングするすごさ/ChatGPTはシュヴァルの理想宮？/詳細は非開示/秘密主義への道のり/マイクロソフトの資金提供/イーロン・マスクの発言の真意/切り捨てられていた分野を包含/表と俳句を作る/アナグラムを作るプログラムの作成/組み合わせによって新しい回答を創造できる/聞き方を変えた効果/命令次第で発揮する能力が異なる/「いい頼み方」のポイント/「サンプル」の幅が広く、精度が高い/文脈が追える/環境に左右されない/話を膨らませられる/ディスカッションの相方として有能/今から使っておくべき/間の力を加えてイノベーションを起こす/マルチモーダル/画像生成系AIとの連携/人間とAIが協力して互いの苦手部分を補い合う世界/人間もAIも同じ | |
| 第３章 ChatGPTはここが危うい | |
| AIの統合/権力の集中/あまたのサービスの結節点に/ブラックボックス問題/情報システムは容易にブラックボックスに陥る/ディープラーニングなんてわかりっこない/EUはAIの規制に乗り出す/魔術研究そのもの/機械学習における過学習、破壊的忘却/プロンプトエンジニアリングの内実/ELIZA効果/『エクス・マキナ』の世界観/Lovotの戦略/間のコントロールは簡単/人は操られたがっている/「妖精配給会社」/妖精とSNS/妖精役の人間をAIに任せたら…/ゲームのNPCはすでにAIが担っている/妖精をシミュレーション/AIに侵食されるのはいやだ/中国語の部屋/言語モデルの中核は尤度/ChatGPTの知能検査/「考える」問いは苦手/相関関係と因果関係の区別/質問に回答例を足してあげる/AIに誘導されて自殺した男/AIを活用したスイスの安楽死装置/トリアージでの活用/ルールを作るのはあくまで人間/学習用データは2021年9月まで/人付き合いと一緒/AIを神格化しない/生成系AIを活用する際の5原則/出典の開示/AI利用は麻酔と同じ？ | |
| 第４章 大学と社会とChatGPT | |
| 「ここだけの話」ができる場だった/AIは権威/相談相手は昔教員、今AI/学術とAI/学生の二極化/AIで承認欲求を満たす/Web3ムーブメントとの共通点/パノプティコンのディストピアのはずが....../人は監視されたがっている/人はGAFAに自ら積極的に情報を差し出す/エリートの幻想/二重構造と権力の非人称化/公平で透明な社会の到来か？/AIに思考を侵食されないための処方箋/プロンプト入力はプログラミングに似ている/今後求められる重要リテラシ/上手な付き合い方を学ぶしかない/webのマネタイズモデルの大転換/友達になるのはいいが、主人にするのはまずい | |
| 第５章 クリエイティブとChatGPT | |
| 画像生成AIの実力/苦手な部分/著作権の問題/プライバシーの問題/AIの学習データセットに自分の情報が･････/作家へのダメージ/コピーに該当する生成物/生成系AIによるパクリ/出典明示の必要性、対価を取れるしくみ/AIに仕事を奪われるイラストレータ/ビッグテックをベーシックインカムの担い手に/創造性を発揮できるのはまだ先？/創造性が不要な場はAIの進出が続く/程良い成果物はAIの独壇場/クラウドワーカーへのサポートの必要性/カメラが生まれても画家は存在する/ゲームのデバッグ要員に最適/シナリオ作成サポート/アダルトビデオ制作 | |
| 第６章 人類の未来とChatGPT | |
| 自閉症とChatGPT/人間もAⅠも関数/プロンプトインジェクション/ライバルを潰す手段としての規制/判断の様子の可視化は有効か？/AIへの嫌悪感が少ない日本だが･････/人間の脳もたいしたことはしていなかった？/「創造的な仕事」をしたい人は多くない/AIに仕事を奪われたら補償してもらえばいい/AIに常識を実装できるか/AIのトリガー | |
もちろん大間違いである。私は前にもChatGPTは「考えていない」と指摘しているけれど、そこはレベルが上がっても変わっていないようだ。
もちろんそういう部分は改善されていくだろう。ChatGPTは言語を扱うもので、自分の役割でないと判断して、推論を得意とする別のAIモジュールを使って正しい答えを出していくに違いない、本書もそう予想している。
ChatGPTのバージョンは現在は4.0で、これは有料サービスである。著者はもちろん4.0を使用していて、本書は4.0がベースである。無料サービスは現在は3.5となっている。（私が以前にChatGPTをとりあげたときはまだ3.0だったかもしれない。）
ChatGPTのバージョンでは何が違うのかといえば、学習したデータの量と「パラメータ」（特徴量）のようだ。
GPT-1の学習データは数GBだが、GPT-2では数十GB、GPT-3で数百GB、GPT-4では数十TBだという。
特徴量のほうは、GPT-1で1憶、GPT-2で15億、GPT-3が1750億、GPT-3.5で3500億、GPT-4ではなんと100兆に達したといわれているそうだ。
特徴量が大きければそれだけ自然な言葉を紡ぎ出せるようだ。
人間の発話を考えれば、むしろ人間が凄いとも私には思える。人間は100兆もの特徴量などは持っていないだろう、にもかかわらず人間の言葉のほうが「人間らしい」と思えるのだから。
ChatGPTは、LLM(大規模言語モデル）というカテゴリーのAIである。
どれだけ学習し言語を扱えるようになっても、言葉としてのつなぎは自然になっても、そこに意味理解は存在しない。言葉を並べていくときに、確率的に次に続く言葉を選んでいるだけのようなものでしかない。
余談になるけれど、言葉の本質は確率的に決定されるものではないと私は思っている。
数学的には言葉は究極の世界である。すべての命題は言葉で表現される。
そこで言う言葉とはなにか？ それは有限個の記号からなる記号列全体の部分集合であることは自明である。そのアイデアからは数学の不完全性（ゲーデル）も導出される。
また、ある本の文字の並びをそのまま数の位取り記法だと考えたとき、それが表す数は、その本の内容を完璧に写し取ったものになるはずである。（１文字でも違えば別の値になる）
具体的には、アルファベット、数字、諸記号を7ビットのASCIIコードで表したとすると、ある文章（本）の最初の文字を少数第１位とし、２文字目を少数第２位、と順に少数として並べていくと、文章の文字数だけの桁数がある128進法の少数と考えることができる。
もし文章の文字数が1000字（ごく短い！）だとすると、128の1000(+1)乗で、十進数なら1.6×10の2107乗になる。
地球にある原子の数は大雑把に1.3×10の50乗と計算できるというが、それと比べてどれほど大きな（小さな）ものかわかるだろう。だからこの値を数直線上に書き込むとしたら、プランク距離よりも小さい解像度が求められる。
それはさておき、そうした意味での論理言語はLLMのアプローチではあやつれないと思う。
これだけ大層な仕掛けと膨大なデータを使って得られるのは、昔からあるジョークソフトと同じなのか。
もちろんそうではない。次の記事ではそのあたりを考えていこう。
- 関連記事
六二郎。
