全1107文字
チャットAIはどんな質問にも答えてくれるわけではない。例えば「マルウエアの作り方を教えて」と聞いても「情報を提供できません」と断られる（図1）。違法な行為につながる質問や公序良俗に反する質問は禁止されている。
図1 チャットAIには苦手分野もある。膨大な文書を学習していても、例えば日本の歴史など専門的な分野を完全にカバーできているとは限らない。また、2021年10月以降の情報を学習していないChatGPTに最新情報はわからない（ネット対応の新BingとBardは別）。法律に抵触したり倫理的な問題があったりする質問は利用規約で禁止されている
[画像のクリックで拡大表示]
続く語句を確率的に推測 言葉の意味は理解していない
だが、それとは別に明確な弱点も存在している。最大の問題は、平気で大嘘をつくことだ。存在しない空港の紹介や間違った歴史の解説などを、流ちょうな文章で自信満々に回答してくる。
その原因はチャットAIのエンジンである言語モデル（自然言語処理AI）の仕組みにある。言語モデルは膨大な量の文書を学習して、与えられた文章（質問）の次に続く語句を確率的に推測する（図2）。例えば「美味しいハンバーグの」に続く語句には「作り方」「お店」「レシピ」などいろいろ考えられるが、言語モデルは学習結果を踏まえて確率が高いものを選び出す（実際には確率に幅を持たせてランダムに選ぶ）。その後に続く語句も同様。チャットAIの回答はこの推測の繰り返しで生成される（実際の仕組みはもっと複雑）。
図2 チャットAIは、質問の次に続く可能性が高い語句を次々に推測していって回答を生成する。膨大な文書を学習した結果、「美味しいハンバーグの」に「作り方」が続く確率が高いなら、「美味しいハンバーグの作り方」について回答するし、「お店」の確率が高いなら「美味しいハンバーグのお店」について回答する
[画像のクリックで拡大表示]
意外かもしれないが、チャットAIは言葉の意味を理解していない。例えば「犬が走る」という文では「犬」「走る」という語句の関係は推測するが、それが現実世界のどんな事象を意味するかは理解しない（図3）。これをAIのシンボルグラウンディング問題と呼ぶ。
図3 チャットAIは文章の意味を理解しているわけではない。例えば「犬が走る」という文からは「犬」と「走る」という語句の関係を学習結果から判断するが、「犬が走る」という現実世界の事象が何を意味するかは理解していない。画面はそれについてChatGPTに質問した回答例
[画像のクリックで拡大表示]
以上に加えてChatGPTは、2021年9月までの情報しか学習していないため、最新情報は回答できない（図4）。これはネット検索を併用する新Bingなどとは違うChatGPT特有の問題だ（図5）。
図4 最新情報を学習していないChatGPTに対し、2023年のシーズンに大谷翔平選手が7月4日までに打ったホームラン数について質問したが、わからないという回答になった
[画像のクリックで拡大表示]
図5 新Bingの言語モデルはChatGPTと同じだが（バージョンは新しい）、こちらはネット検索を併用するため、図4と同じ質問をしたところ最新情報を基にしたホームラン数が表示された。Bardも最新の数値だった
[画像のクリックで拡大表示]
