OpenAIの文字起こしAI「Whisper」、医療現場での利用に研究者らが警鐘

テクノロジーカテゴリーの変更を依頼記事元:

www.itmedia.co.jp

179 usersがブックマークコメント

OpenAIの文字起こしAI「Whisper」、医療現場での利用に研究者らが警鐘

米OpenAIが2022年に発表した音声テキスト変換AI「Whisper」に、文章の一部または全部を捏造してしまうい... 米OpenAIが2022年に発表した音声テキスト変換AI「Whisper」に、文章の一部または全部を捏造してしまういわゆる「幻覚」による重大な欠陥があると、米Associated Pressは10月26日（現地時間）、多数のエンジニアや研究者へのインタビューに基づいて報じた。 Whisperは、インタビューの翻訳や文字起こし、消費者向け技術でのテキスト生成、動画の字幕作成など、世界中の様々な業界で使用されている。Associated Pressは、医療機関でもWhisperベースのツールが診察の会話の文字起こしで使われ始めていることが、深刻な懸念を引き起こしていると指摘する。 Whisperのトレーニングには、ネット上の膨大な音声データと、それに対応する文字起こしテキストから構成される、68万時間に及ぶ大規模なデータセットが使われたとしているが、トレーニングに使った具体的なソースは明示して

udukishin 「文字起こしの元となる音声録音は削除しており、音声と文字起こしの違いを確認することはできない」そりゃダメだろという感想しかない。設計の問題であってAI利用が問題という話ではないな

2024/10/27 リンク

nori__3 まぁそりゃ文字起こしの手間を省くもので内容を保証するものじゃないからな。日本語だと同音異義語とかの問題で自動文字起こし自体あんまり信用してないところがあるけど、英語だとまた違うのかもしれないな。

totoronoki 発話者が自分で出力を確認しながら音声入力するなら問題ないけど、発話者が確認しないまま処理される使い方は問題だろ。

lainof ↓聞き間違いや同音異義語を間違えるんじゃなくて、全く言っていない文章になる場合があるから普通の人が想像する文字起こしの間違いと次元が違う。少し前に最新版にしたら酷くなったので古いバージョン使ってる。

hom_functor 音声をプロンプトにした生成AIみたいな仕組みだから、学習データに引きづられて無音部分に「チャンネル登録お願いします」みたいな字幕つけたりは結構ある。自動運転同様、適当に使って失敗したなら人間の責任

kamezo 出てくる「捏造」の例が「書き起こしからこれを見つけるのは、話を聞いてた人以外にはムリなのでは」な感じ。読み取りミスとかならまだしもなあ。

hatact メモ用にWhisperではないAI文字起こし使ってる（お勧めではないので具体名は書かないが）けど、空白部分でのハルシネーションはひどい。対策はしゃべり続けること。文がまるごと抜けたりするが音声自体を確認はできる。

2024/10/31 リンク

houyhnhm これなあ、改善のトリガーがない。AIの厄介なところはそこで、専門家がチェックしないと使えないところがある。プログラムでもアンチパターンを作り出したりするんよな。

2024/10/29 リンク

KoshianX アメリカじゃ医療機関でもAI文字起こしで診察がーとかいう話を垂れ流してる人を見かけて、現状のLLMでそんなうまく動くかなと思ってたけどやっぱりこんな感じか。まあ不具合は直していけばいいが治るんかなあ

misshiki “例えば、話し手が「他の2人の女の子と1人の女性」について話している箇所の文字起こしで、Whisperは「他の2人の女の子と1人の女性、えーと、その人は黒人だった」と人種に関するコメントを捏造した。”

2024/10/28 リンク

nito210san ブコメで指摘されるぐらいの事を研究者や利用者が理解してないとは思えないけどね。メディアがAIをネタに煽りたいだけの記事に見える

tu_no_tu Whisperはローカルでオフライン環境で動作するので、医師が話した事をAI音声認識させて、カルテに要約する製品は日本でも販売中で、利用しているクリニックもある。幻覚が生じるなら要約された内容の再確認は大事だね

infinite-regress “このツールは患者のプライバシーを保護するため、文字起こしの元となる音声録音は削除しており、音声と文字起こしの違いを確認することはできない。 ”

georgew OpenAIはAssociated Pressを含む多数のメディアやRedditなどとコンテンツ利用に関する契約を結んでいる > Redditを学習ソースに使って大丈夫なの？

kumoha683 日本の場合は個人情報保護委員会が個人情報取扱事業者に注意喚起してるし、医療情報を取り扱う情報システム・サービスの提供事業者における安全管理ガイドラインを遵守するなら国内法の範囲外にあるため利用は不可

sierraromeo 日本語を書き起こすと米の様にまぁひどいことになるし理由も察するんだが、記事のも根が同じだとするとハルシネーションなんて大仰な形容すら使いたくないただのクソバカ学習結果なんだよね

Fluss_kawa 書き起こす会社側が元データ残してないのはわかるが依頼側は残してチェックしようよと。そこから誤字脱字の修正はまだまだ必須作業だと思う。

keidge 自動文字起こしはよく使っているが、ないよりましというレベルたね。医療グレードになるには、まだまだという印象。

IGA-OS “Whisperの出力を鵜呑みにせず、特に医療現場など重要な意思決定の場面では慎重に確認する必要がある” 医療現場は音源残してチェックしないのか🤔 信用してるな

ttrr Whisper、精度もかなり良くここまで来たかと言う感じだが、用途次第で人が補助して品質を上げる必要がある。無音が続くと「ご視聴ありがとうございました」等ぶちこんでくる。まだ賢く使う必要がある。

moodyzfcd 元記事(Associated Press) OpenAIは "Whisper as having near “human level robustness and accuracy.”"" https://openai.com/index/whisper/ "OpenAI’ s warnings that the tool should not be used in “high-risk domains.”" https://huggingface.co/openai/whisper-large-v3-turbo あたりかな