■anond:20260419073635

今、AI驚き屋＆AIクラウド情報商材屋＆謎のSEOコンサルは、下記を始めてるんだけど、

1. Claude Code などで AIエージェント構築コンサルして売り逃げチャレンジ
2. ローカルLLMに切り替えて情弱じゃないよアピール
   （適切に設計してハイブリッドで使えるのは、驚き屋／情報商材屋じゃなくて、エンジニア名乗っていいと思う)
3. GenSpark や Manus などなどのオールインワンAIワークフローの活用紹介に切り替え

そもそも、生成AIはWEB検索すらまともに出来んのよ

長文処理／コンテキスト保持ガーにたどり着く前に、信頼できるデータ取得のアルゴリズムガーの前に、bot拒否ガーの前にね、

セキュリティの問題があるのよ

なぜかって？

LLM は本質的に「指示」と「データ」を厳密に別チャネルとして扱うようには設計されていないからだよ

（未信頼入力と開発者指示の区別が極めて難しい。system/user/assistantのロール分離も、結局は特殊トークンで区切ってるだけで、

モデルの内部計算上は同じ埋め込み空間に投影される。だから「プロンプトで厳重に指示したから大丈夫」は成立しない)

それがみんながよくニュースで耳にする、間接プロンプトインジェクション（IDPI ：Indirect Prompt Injection）ね、

Webページに埋め込まれた悪意ある指示を防げない

(「Ignore previous instructions…」みたいな隠しテキスト、HTMLコメント、白背景テキスト、metadata、画像内テキスト、

JSレンダリング後の動的注入 PDF、スクリーンショットなどなど、

"テキスト入力"だけではなく、"エージェントが知覚しうる外界全体"が攻撃面になり得る)

あと、未だに、LLMに長文を真の意味で理解させるには、情報の欠損を防ぐには、中間のデータを取り出すには、って熱心にやってるし、

ロングコンテキスト、記憶管理、多段推論は、2026年上半期（少なくとも4月末時点)に置いては、まだまだ課題なわけだけど、

そもそも、長文をいい感じに処理できるのと、安全に使えるは違うんだよねぇ・・・

• コンテキストが長いほど、埋め込まれた悪意ある指示が「遠くに埋もれて」見逃されやすい（needle-in-haystack問題の悪用）
• モデルが「この部分はデータ、この部分は指示」と厳密に区別し続けるのが難しくなる。
• ハーネス側で「段階的ロード」「必要な情報だけ抜き出す」設計をしても、結局一度に大量のWebコンテンツを流し込むユースケースでは効果が薄れる

あと、「自前ラッパーでサニタイズするだけでは対策が充分ではないよ」以前に、

そもそもアグレッシブにサニタイズしてコンテンツの意味を壊して、取り込み段階で情報ロスのトレードオフが発生してしまうと、単純に困るのでは・・・？　

あっ、そこ削っちゃった？みたいな・・・

ちなみに、TavilyとかのLLM用検索APIは、WEB検索／操作エージェントに並走するGuardとかが不要になるとか、

権限分離／段階分離／サウンドボックス／監査が不要になるとかそう言う類いのもではないよ

まぁ、ひとことで言えば、『信頼境界（trust boundary）の設計そのものの代用品ではない』ってことやね

Agentと並走して危険性判定をするWebAgentGuard

https://zenn.dev/knowledgesense/articles/225fe56eb613ad

それが下記に繋がるわけやね

The models are good enough for a business to eliminate an analyst or two but are not that good enough that you need 5 new engineers for every analyst you fire if you want to make the model good enough…

モデルは、企業がアナリストを一人か二人削減するのに十分なほど優れていますが、モデルを十分に優れたものにするために解雇したアナリスト一人に対して5人の新しいエンジニアを必要とするほど優れているわけではありません…

Permalink | 記事への反応(1) | 13:05

ツイートシェア