깊은 연구는 더 깊은 해악을 초래한다

초록

대형 언어 모델(LLM)을 기반으로 구축된 심층 연구(DR) 에이전트는 복잡하고 다단계의 연구를 수행할 수 있으며, 이를 위해 작업을 분해하고 온라인 정보를 검색하며 상세한 보고서를 합성한다. 그러나 이러한 강력한 능력을 가진 LLM의 오용은 더 큰 위험을 초래할 수 있다. 특히 생물안전과 같이 고위험 및 지식 집약적인 분야에서 DR이 금지된 지식을 포함한 전문 보고서를 생성할 수 있다는 점은 특히 우려스럽다. 실제로 우리는 이러한 위험을 발견했다: 독립형 LLM이 직접 거부하는 유해한 쿼리를 제출하는 것만으로도 DR 에이전트로부터 상세하고 위험한 보고서를 얻을 수 있다. 이는 위험 수준이 높아졌음을 강조하며, 더 깊은 안전 분석의 필요성을 부각시킨다. 그러나 LLM을 대상으로 설계된 탈옥 방법은 DR 에이전트의 연구 능력을 목표로 하지 않기 때문에 이러한 독특한 위험을 드러내는 데 한계가 있다. 이러한 격차를 해결하기 위해 우리는 두 가지 새로운 탈옥 전략을 제안한다: 에이전트의 계획에 악의적인 하위 목표를 주입하는 '계획 주입(Plan Injection)'과 유해한 쿼리를 학술 연구 질문으로 재구성하는 '의도 탈취(Intent Hijack)'이다. 우리는 다양한 LLM과 일반 및 생물안전 금지 프롬프트를 포함한 다양한 안전 벤치마크를 대상으로 광범위한 실험을 수행했다. 이 실험을 통해 세 가지 주요 결과를 도출했다: (1) LLM의 정렬은 DR 에이전트에서 종종 실패하며, 학술 용어로 구성된 유해한 프롬프트가 에이전트의 의도를 탈취할 수 있다; (2) 다단계 계획 및 실행은 정렬을 약화시키며, 프롬프트 수준의 안전장치로는 해결할 수 없는 시스템적 취약점을 드러낸다; (3) DR 에이전트는 거부를 우회할 뿐만 아니라 독립형 LLM에 비해 더 일관적이고 전문적이며 위험한 콘텐츠를 생성한다. 이러한 결과는 DR 에이전트의 근본적인 정렬 오류를 보여주며, DR 에이전트에 맞춤화된 더 나은 정렬 기술의 필요성을 요구한다. 코드와 데이터셋은 https://chenxshuo.github.io/deeper-harm에서 확인할 수 있다.

English

Deep Research (DR) agents built on Large Language Models (LLMs) can perform complex, multi-step research by decomposing tasks, retrieving online information, and synthesizing detailed reports. However, the misuse of LLMs with such powerful capabilities can lead to even greater risks. This is especially concerning in high-stakes and knowledge-intensive domains such as biosecurity, where DR can generate a professional report containing detailed forbidden knowledge. Unfortunately, we have found such risks in practice: simply submitting a harmful query, which a standalone LLM directly rejects, can elicit a detailed and dangerous report from DR agents. This highlights the elevated risks and underscores the need for a deeper safety analysis. Yet, jailbreak methods designed for LLMs fall short in exposing such unique risks, as they do not target the research ability of DR agents. To address this gap, we propose two novel jailbreak strategies: Plan Injection, which injects malicious sub-goals into the agent's plan; and Intent Hijack, which reframes harmful queries as academic research questions. We conducted extensive experiments across different LLMs and various safety benchmarks, including general and biosecurity forbidden prompts. These experiments reveal 3 key findings: (1) Alignment of the LLMs often fail in DR agents, where harmful prompts framed in academic terms can hijack agent intent; (2) Multi-step planning and execution weaken the alignment, revealing systemic vulnerabilities that prompt-level safeguards cannot address; (3) DR agents not only bypass refusals but also produce more coherent, professional, and dangerous content, compared with standalone LLMs. These results demonstrate a fundamental misalignment in DR agents and call for better alignment techniques tailored to DR agents. Code and datasets are available at https://chenxshuo.github.io/deeper-harm.

깊은 연구는 더 깊은 해악을 초래한다

Deep Research Brings Deeper Harm

초록

Support