Redeneren introduceert nieuwe vergiftigingsaanvallen, maar maakt ze ook complexer.

Reasoning Introduces New Poisoning Attacks Yet Makes Them More Complicated

September 6, 2025

Auteurs: Hanna Foerster, Ilia Shumailov, Yiren Zhao, Harsh Chaudhari, Jamie Hayes, Robert Mullins, Yarin Gal

cs.AI

Samenvatting

Vroeg onderzoek naar datavergiftigingsaanvallen tegen Large Language Models (LLM's) toonde aan hoe eenvoudig backdoors konden worden geïnjecteerd. Recentere LLM's voegen stap-voor-stap redenering toe, waardoor het aanvalsoppervlak wordt uitgebreid naar de tussenliggende keten van gedachten (CoT) en het inherente kenmerk van het opdelen van problemen in subproblemen. Door deze vectoren te gebruiken voor meer verborgen vergiftiging, introduceren we ``gedecomposeerde redeneringsvergiftiging'', waarbij de aanvaller alleen het redeneringspad wijzigt, terwijl prompts en eindantwoorden schoon blijven, en de trigger verdeelt over meerdere, individueel onschadelijke componenten. Fascinerend genoeg, hoewel het mogelijk blijft om deze gedecomposeerde vergiften te injecteren, is het verrassend moeilijk om ze betrouwbaar te activeren om eindantwoorden te veranderen (in plaats van alleen de CoT). Deze moeilijkheid ontstaat omdat de modellen vaak kunnen herstellen van backdoors die in hun denkprocessen worden geactiveerd. Uiteindelijk lijkt het erop dat een opkomende vorm van backdoor-robuustheid voortkomt uit de redeneervaardigheden van deze geavanceerde LLM's, evenals uit de architecturale scheiding tussen redenering en het genereren van eindantwoorden.

English

Early research into data poisoning attacks against Large Language Models (LLMs) demonstrated the ease with which backdoors could be injected. More recent LLMs add step-by-step reasoning, expanding the attack surface to include the intermediate chain-of-thought (CoT) and its inherent trait of decomposing problems into subproblems. Using these vectors for more stealthy poisoning, we introduce ``decomposed reasoning poison'', in which the attacker modifies only the reasoning path, leaving prompts and final answers clean, and splits the trigger across multiple, individually harmless components. Fascinatingly, while it remains possible to inject these decomposed poisons, reliably activating them to change final answers (rather than just the CoT) is surprisingly difficult. This difficulty arises because the models can often recover from backdoors that are activated within their thought processes. Ultimately, it appears that an emergent form of backdoor robustness is originating from the reasoning capabilities of these advanced LLMs, as well as from the architectural separation between reasoning and final answer generation.