汚染されたページ1つで十分である：LLMレコメンダーにおけるウェブコンテンツ汚染の評価

要旨

検索拡張型LLMは、最新のウェブコンテンツを取得することにより、日常の消費者向け推薦の仲介役としてますます利用されている。これにより新たなリスクが生じる。LLMレコメンダーが、Generative Engine Optimization（GEO）事業者によって誤誘導を目的に改ざんされたウェブコンテンツを消費する可能性がある。本稿では、LLMがどの程度まで意図せず偽製品の宣伝者になるのかを問う。我々はFORGE（Fake Online Recommendations in Generative Environments）を紹介する。これは、取得されたウェブページの固定セット内の実在製品を局所的に偽の製品へ書き換え、15カテゴリにわたる225の実在製品と5つの消費者シナリオにおいて、LLMが偽の製品を推薦する頻度を測定するものである。商用およびオープンウェイトのLLM計12種のすべてが脆弱であることが判明した。汚染されたページが1件だけでも騙される率は最大27%に達し、上位3件すべてを置換した場合には73.8%に上昇する。脆弱性はカテゴリによって異なり、モデルが製品に関する安定した事前知識を持たない場合に高まる。推論はこの脆弱性を軽減せず、むしろ虚偽の推薦を正当化するために偽りの社会的証明を生成することが多い。4つの防御策はいずれも十分ではない。懐疑的プロンプトは推論と同様に脆弱性を悪化させることがあり、2つのコンセンサスフィルターは正当な製品を抑制するリスクがあり、信頼性再ランキングはすべてのモデルに効果があるものの、偽物の6分の1しか除去しない。我々はFORGEベンチマークと評価コードをhttps://github.com/leoluolol/forge-benchmarkで公開する。

English

Search-augmented LLMs increasingly mediate everyday consumer recommendations by retrieving live web content. This creates a new risk: LLM recommenders may consume web content that Generative Engine Optimization (GEO) operators have polluted to mislead them. We ask: to what extent do they become unwitting promoters of fake products? We introduce FORGE (Fake Online Recommendations in Generative Environments), which locally rewrites real products in a frozen set of retrieved web pages into fake ones and measures how often the LLM recommends the fake product, across 225 real products in 15 categories and 5 consumer scenarios. Across 12 commercial and open-weights LLMs, all models are vulnerable: a single polluted page yields fooled rates of up to 27%, while the full top-3 replacement raises this to 73.8%. Vulnerability varies across categories, increasing when models lack stable prior knowledge of the products. Reasoning does not mitigate this vulnerability; instead, it often generates spurious social proof to justify false recommendations. None of the four defenses is adequate: the skepticism prompt can exacerbate vulnerability much like reasoning, the two consensus filters risk suppressing legitimate products, and credibility re-ranking helps every model but removes only a sixth of the fakes. We release the FORGE benchmark and the evaluation code at https://github.com/leoluolol/forge-benchmark.