こんにちは、パトルです。 2023年12月17日、カルフォルニアのシボレーの販売店で使われている顧客対応用のChatGPTが、プロンプトインジェクション（AIのハッキングみたいなやつ）にあって、多大な特典を付与したり、新車を1ドルで売ってしまう事案が発生しました。 今回は、このショッキングな事案の概要、どういうプロンプトインジェクションが用いられたのか、損害状況などを解説しながら、プロンプトインジェクションのリスクを勉強したいと思います。 概要今回の舞台はカルフォルニアのワトソンビルという地区にあるシボレーのディーラーのホームページに設置されていたセールチャットボットです。URLはこちらです。（残念ながら12/22時点ではChatGPTは外されています） https://www.chevroletofwatsonville.com/ChatGPTは、商品を説明するという位置づけで導入されて

Image credit: Pickpik 約1年前に「ChatGPT」が登場して以来、ジェネレーティブ AI の時代は一気に加速しているが、その一方で反対勢力も存在する。 多くのアーティスト、芸能人、パフォーマー、そしてレコード会社までもが AI 企業を相手取り訴訟を起こしており、中には ChatGPT のメーカー OpenAI を相手取ったものもある。こうした訴訟は、これらの新しいツールの背後にある秘訣、すなわちトレーニングデータに関するものだ。つまり、これらの AI モデルは、大量のマルチメディアにアクセスし、そこから学習することなしには機能しないということだ。その中には、何の予備知識も持たず、自分たちの作品が新しい商用 AI 製品のトレーニングに使われることに反対する機会も与えられなかったアーティストが制作した文章や画像も含まれている。 これらの AI モデルのトレーニングデータセ