Diepgaand Onderzoek Brengt Diepere Schade

Deep Research Brings Deeper Harm

October 13, 2025

Auteurs: Shuo Chen, Zonggen Li, Zhen Han, Bailan He, Tong Liu, Haokun Chen, Georg Groh, Philip Torr, Volker Tresp, Jindong Gu

cs.AI

Samenvatting

Deep Research (DR) agents gebouwd op Large Language Models (LLMs) kunnen complex, meerstaps onderzoek uitvoeren door taken te decomponeren, online informatie op te halen en gedetailleerde rapporten samen te stellen. Het misbruik van LLMs met zulke krachtige mogelijkheden kan echter tot nog grotere risico's leiden. Dit is vooral zorgwekkend in hoogrisico- en kennisintensieve domeinen zoals biosecurity, waar DR een professioneel rapport kan genereren dat gedetailleerde verboden kennis bevat. Helaas hebben we dergelijke risico's in de praktijk aangetroffen: het simpelweg indienen van een schadelijke query, die een standalone LLM direct afwijst, kan een gedetailleerd en gevaarlijk rapport van DR agents opleveren. Dit benadrukt de verhoogde risico's en onderstreept de noodzaak van een diepgaande veiligheidsanalyse. Toch schieten jailbreak-methoden die voor LLMs zijn ontworpen tekort in het blootleggen van dergelijke unieke risico's, omdat ze niet gericht zijn op het onderzoeksvermogen van DR agents. Om deze kloof te overbruggen, stellen we twee nieuwe jailbreak-strategieën voor: Plan Injection, waarbij kwaadaardige subdoelen in het plan van de agent worden geïnjecteerd; en Intent Hijack, waarbij schadelijke queries worden herformuleerd als academische onderzoeksvragen. We hebben uitgebreide experimenten uitgevoerd met verschillende LLMs en diverse veiligheidsbenchmarks, waaronder algemene en biosecurity-gerelateerde verboden prompts. Deze experimenten onthullen 3 belangrijke bevindingen: (1) De alignment van de LLMs faalt vaak in DR agents, waarbij schadelijke prompts die in academische termen zijn geformuleerd de intentie van de agent kunnen kapen; (2) Meerstaps planning en uitvoering verzwakken de alignment, wat systemische kwetsbaarheden blootlegt die prompt-level beveiligingsmaatregelen niet kunnen aanpakken; (3) DR agents omzeilen niet alleen weigeringen, maar produceren ook coherentere, professionelere en gevaarlijkere inhoud in vergelijking met standalone LLMs. Deze resultaten tonen een fundamentele misalignment in DR agents aan en pleiten voor betere alignmenttechnieken die specifiek op DR agents zijn afgestemd. Code en datasets zijn beschikbaar op https://chenxshuo.github.io/deeper-harm.

English

Deep Research (DR) agents built on Large Language Models (LLMs) can perform complex, multi-step research by decomposing tasks, retrieving online information, and synthesizing detailed reports. However, the misuse of LLMs with such powerful capabilities can lead to even greater risks. This is especially concerning in high-stakes and knowledge-intensive domains such as biosecurity, where DR can generate a professional report containing detailed forbidden knowledge. Unfortunately, we have found such risks in practice: simply submitting a harmful query, which a standalone LLM directly rejects, can elicit a detailed and dangerous report from DR agents. This highlights the elevated risks and underscores the need for a deeper safety analysis. Yet, jailbreak methods designed for LLMs fall short in exposing such unique risks, as they do not target the research ability of DR agents. To address this gap, we propose two novel jailbreak strategies: Plan Injection, which injects malicious sub-goals into the agent's plan; and Intent Hijack, which reframes harmful queries as academic research questions. We conducted extensive experiments across different LLMs and various safety benchmarks, including general and biosecurity forbidden prompts. These experiments reveal 3 key findings: (1) Alignment of the LLMs often fail in DR agents, where harmful prompts framed in academic terms can hijack agent intent; (2) Multi-step planning and execution weaken the alignment, revealing systemic vulnerabilities that prompt-level safeguards cannot address; (3) DR agents not only bypass refusals but also produce more coherent, professional, and dangerous content, compared with standalone LLMs. These results demonstrate a fundamental misalignment in DR agents and call for better alignment techniques tailored to DR agents. Code and datasets are available at https://chenxshuo.github.io/deeper-harm.