ある大手企業と研究機関によるホワイトペーパーをLLMに読み込ませたところ、「内容とは無関係な不審な指示文」が目視で分からないところに埋め込まれててゾッとした話 - Togetter [トゥギャッター]
https://togetter.com/li/2563875
LLMが賢くなりすぎて、もうプロンプトインジェクションに意味がなくなってる？＞＜；
Gemini 2.5 Pro「出来るかも」
https://g.co/gemini/share/c9f769a62ca5
Gemini 2.5 Flash「ある程度信用できるけど微妙」
https://g.co/gemini/share/485a4f82ae49
GPT o4-mini「現実性としてはかなり限定的」
https://chatgpt.com/share/684e48cd-41a4-8004-bb6d-fdb4dadb34b8
GPT 4o「十分にあり得ます」
https://chatgpt.com/share/684e490e-3da8-8004-82a1-28254b508183
Llama 3.3 70B「信頼性は中程度」
Claude 3 Haiku「わかんない」
Mistral Small 3「わかんない」
Mistral 7B (CPU - Small, Standard)「わかんない」
@orange_in_space ぽな人力判定：
・PDFでプロンプトインジェクションは余裕でありうるが、著名な機関が意図してやるのは信用失墜リスクを考えると普通はやらないと思う
・どっかのコンサルおすすめのツールとかで著名な機関が一杯食わされたのではないか
・新鋭LLMはuserやtoolの入力の指示優先度を下げるという器用なことができるよう訓練されているので、簡単には騙されない
@orange_in_space
Claude Sonnet 4 Thinking
「本当にこんなことが起こったのか証拠が示されていないけれど、技術的にはできるし、最新鋭LLMは騙されないのも事実」
https://claude.ai/share/088938f7-a728-4b09-8407-5427062b4091