BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「

ゆるふわ怪電波☆埼玉 @yuruhuwa_kdenpa 都内初の手口の住居窃盗で男を逮捕 住民が在宅している間に鍵穴に接着剤を流し込む ↓ 翌朝施錠できないまま出社した所を見計らって侵入 確かに朝仕事で急いでる時に施錠できなかったらそのままにして出社する可能性はあるな… 不自然な施錠不良があった気を付けよ pic.x.com/ZQBXBwDSm9 2024-12-18 13:24:34