웹 AI 에이전트가 독립형 LLM보다 더 취약한 이유는 무엇인가? 보안 분석

Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis

February 27, 2025

저자: Jeffrey Yang Fan Chiang, Seungjae Lee, Jia-Bin Huang, Furong Huang, Yizheng Chen

cs.AI

초록

최근 웹 AI 에이전트의 발전은 복잡한 웹 탐색 작업을 해결하는 데 있어 놀라운 능력을 보여주고 있습니다. 그러나 새로운 연구에 따르면, 이러한 에이전트들은 동일한 안전성 정렬 모델을 기반으로 구축되었음에도 불구하고 독립형 대형 언어 모델(LLM)에 비해 더 큰 취약성을 보이는 것으로 나타났습니다. 이러한 차이는 웹 AI 에이전트가 독립형 LLM에 비해 더 큰 유연성을 가지고 있어, 더 광범위한 적대적 사용자 입력에 노출될 가능성이 높다는 점에서 특히 우려스러운 문제입니다. 이러한 문제를 해결하기 위한 기반을 마련하기 위해, 본 연구는 웹 AI 에이전트의 취약성이 증가하는 근본적인 요인들을 조사합니다. 특히, 이러한 차이는 웹 AI 에이전트와 독립형 LLM 간의 다면적인 차이와, 단순한 평가 지표(예: 성공률)로는 포착하기 어려운 복잡한 신호들에서 비롯됩니다. 이러한 문제를 해결하기 위해, 우리는 구성 요소 수준의 분석과 더 세분화된 체계적인 평가 프레임워크를 제안합니다. 이러한 세밀한 조사를 통해, 우리는 웹 AI 에이전트의 취약성을 증폭시키는 세 가지 주요 요인을 식별했습니다: (1) 시스템 프롬프트에 사용자 목표를 내재화하는 것, (2) 다단계 행동 생성, 그리고 (3) 관찰 능력입니다. 우리의 연구 결과는 AI 에이전트 설계에서 보안과 견고성을 강화할 필요성과 함께, 표적 방어 전략을 위한 실행 가능한 통찰력을 제공합니다.

English

Recent advancements in Web AI agents have demonstrated remarkable capabilities in addressing complex web navigation tasks. However, emerging research shows that these agents exhibit greater vulnerability compared to standalone Large Language Models (LLMs), despite both being built upon the same safety-aligned models. This discrepancy is particularly concerning given the greater flexibility of Web AI Agent compared to standalone LLMs, which may expose them to a wider range of adversarial user inputs. To build a scaffold that addresses these concerns, this study investigates the underlying factors that contribute to the increased vulnerability of Web AI agents. Notably, this disparity stems from the multifaceted differences between Web AI agents and standalone LLMs, as well as the complex signals - nuances that simple evaluation metrics, such as success rate, often fail to capture. To tackle these challenges, we propose a component-level analysis and a more granular, systematic evaluation framework. Through this fine-grained investigation, we identify three critical factors that amplify the vulnerability of Web AI agents; (1) embedding user goals into the system prompt, (2) multi-step action generation, and (3) observational capabilities. Our findings highlights the pressing need to enhance security and robustness in AI agent design and provide actionable insights for targeted defense strategies.