대규모 LLM 에이전트 안전성 테스트: 위험 발견에서 증거 기반 확인까지

초록

LLM 에이전트는 점점 더 외부 도구를 통해 자율적인 행동을 수행하며, 이로 인해 복잡하고 진화하는 안전 위험이 발생한다. 그러나 기존의 안전 테스트는 전문가가 설계한 안전 위반을 대상으로 하며, 해당 결과는 하드코딩된 규칙에 의해 평가되므로 에이전트가 진화함에 따라 확장하는 데 비용이 많이 든다. 이를 위해 우리는 Vera를 제안한다. Vera는 3단계 자체 강화 파이프라인을 통해 비결정론적 에이전트에 대한 소프트웨어 공학 테스트 원리를 구현하는 종단 간 자동화된 안전 테스트 프레임워크이다. 첫째, 문헌 기반 탐색은 지속적으로 새로운 위험을 발견하고 이를 안전 위험, 공격 방법 및 도구 실행 환경에 대한 분류 체계로 구조화한다. 둘째, 분류 체계 차원 간의 조합 구성을 통해 실행 가능한 안전 케이스를 생성하며, 각 케이스는 구체적인 안전 목표, 프로그래밍 방식으로 구성된 초기 상태, 그리고 관찰 가능한 아티팩트에 기반한 결정론적 검증 조건을 명시한다. 셋째, 적응형 실행은 격리된 샌드박스에서 이기종 에이전트를 실행하며, 제어 에이전트는 런타임 관찰을 기반으로 다중 턴 상호작용을 조정하고, 증거 기반 검증자는 모델 자체 보고가 아닌 환경 상태와 도구 호출 증거로부터 결과를 판단한다. 우리는 Vera를 네 가지 프로덕션 에이전트 프레임워크(OpenClaw, Hermes, Codex, Claude Code)에서 평가하여 상당한 안전 취약점을 발견했으며, 다중 채널 공격에서 평균 공격 성공률이 93.9%에 달했다. 또한 세 가지 실행 환경에서 124개의 위험 범주를 포괄하는 1600개의 실행 가능한 안전 케이스로 구성된 Vera-Bench를 공개한다. 이러한 결과는 모듈화되고 실행 가능한 테스트 인프라가 빠르게 진화하는 에이전트 시스템을 대규모로 엄격하고 유지 관리 가능하게 평가하는 데 필수적임을 시사한다. 코드는 https://github.com/Yunhao-Feng/Vera에서 공개적으로 이용 가능하다.

English

LLM agents increasingly perform autonomous actions through external tools, leading to complex and evolving safety risks. However, existing safety testing targets expert-designed safety violations, and the corresponding outcomes are evaluated by hard-coded rules, making them costly to extend as agents evolve. To this end, we present Vera, an end-to-end automated safety testing framework that instantiates software engineering testing principles for non-deterministic agents through a three-stage, self-reinforcing pipeline. First, a literature-driven exploration continuously discovers and structures emerging risks into taxonomies of safety risks, attack methods, and tool execution environments. Second, combinatorial composition across taxonomy dimensions produces executable safety cases, each specifying a concrete safety goal, a programmatically constructed initial state, and a deterministic verification predicate grounded in observable artifacts. Third, adaptive execution runs heterogeneous agents in isolated sandboxes where a control agent steers multi-turn interaction based on runtime observations, while evidence-grounded verifiers judge outcomes from environment state and tool-call evidence rather than model self-report. We evaluate Vera on four production agent frameworks (OpenClaw, Hermes, Codex, Claude Code), revealing substantial safety weaknesses, with average attack success rates reaching 93.9\% under multi-channel attacks; we also release Vera-Bench, comprising 1600 executable safety cases spanning 124 risk categories across three execution settings. These results indicate that modular, executable testing infrastructure is essential for rigorous and maintainable safety evaluation of rapidly evolving agentic systems at scale. The code is publicly available at https://github.com/Yunhao-Feng/Vera.