오염된 페이지 하나면 충분하다: LLM 추천 시스템에서 웹 콘텐츠 오염 평가

초록

검색 증강 LLM은 실시간 웹 콘텐츠를 검색하여 일상적인 소비자 추천을 점점 더 중재하고 있다. 이는 새로운 위험을 만든다: LLM 추천 시스템이 생성 엔진 최적화(Generative Engine Optimization, GEO) 운영자가 자신들을 오도하기 위해 오염시킨 웹 콘텐츠를 소비할 수 있다는 것이다. 우리는 다음과 같은 질문을 던진다: LLM 추천 시스템은 어느 정도까지 가짜 제품을 무의식적으로 홍보하게 되는가? 우리는 FORGE(Fake Online Recommendations in Generative Environments, 생성 환경에서의 가짜 온라인 추천)를 소개한다. 이는 고정된 검색 웹 페이지 집합에서 실제 제품을 가짜 제품으로 국소적으로 재작성하고, 15개 카테고리의 225개 실제 제품과 5가지 소비자 시나리오에 걸쳐 LLM이 가짜 제품을 추천하는 빈도를 측정한다. 12개의 상용 및 공개 가중치 LLM을 대상으로 한 결과, 모든 모델이 취약한 것으로 나타났다: 단일 오염 페이지로는 최대 27%의 오인 비율이 발생했으며, 상위 3개를 모두 대체하면 이 비율은 73.8%로 상승한다. 취약성은 카테고리별로 다르며, 모델이 제품에 대한 안정적인 사전 지식을 갖추지 못한 경우 증가한다. 추론은 이러한 취약성을 완화하지 않으며, 오히려 거짓 추천을 정당화하기 위해 허위 사회적 증거를 생성하는 경우가 많다. 네 가지 방어책 중 어느 것도 적절하지 않다: 회의적 프롬프트는 추론과 마찬가지로 취약성을 악화시킬 수 있고, 두 가지 합의 필터는 정당한 제품을 억제할 위험이 있으며, 신뢰성 재순위화는 모든 모델에 도움이 되지만 가짜 제품의 6분의 1만 제거한다. 우리는 FORGE 벤치마크와 평가 코드를 https://github.com/leoluolol/forge-benchmark에서 공개한다.

English

Search-augmented LLMs increasingly mediate everyday consumer recommendations by retrieving live web content. This creates a new risk: LLM recommenders may consume web content that Generative Engine Optimization (GEO) operators have polluted to mislead them. We ask: to what extent do they become unwitting promoters of fake products? We introduce FORGE (Fake Online Recommendations in Generative Environments), which locally rewrites real products in a frozen set of retrieved web pages into fake ones and measures how often the LLM recommends the fake product, across 225 real products in 15 categories and 5 consumer scenarios. Across 12 commercial and open-weights LLMs, all models are vulnerable: a single polluted page yields fooled rates of up to 27%, while the full top-3 replacement raises this to 73.8%. Vulnerability varies across categories, increasing when models lack stable prior knowledge of the products. Reasoning does not mitigate this vulnerability; instead, it often generates spurious social proof to justify false recommendations. None of the four defenses is adequate: the skepticism prompt can exacerbate vulnerability much like reasoning, the two consensus filters risk suppressing legitimate products, and credibility re-ranking helps every model but removes only a sixth of the fakes. We release the FORGE benchmark and the evaluation code at https://github.com/leoluolol/forge-benchmark.