Le raisonnement introduit de nouvelles attaques par empoisonnement tout en les rendant plus complexes.

Reasoning Introduces New Poisoning Attacks Yet Makes Them More Complicated

September 6, 2025

papers.authors: Hanna Foerster, Ilia Shumailov, Yiren Zhao, Harsh Chaudhari, Jamie Hayes, Robert Mullins, Yarin Gal

cs.AI

papers.abstract

Les premières recherches sur les attaques par empoisonnement de données contre les modèles de langage de grande taille (LLMs) ont démontré la facilité avec laquelle des portes dérobées pouvaient être injectées. Les LLMs plus récents intègrent un raisonnement étape par étape, élargissant ainsi la surface d'attaque pour inclure la chaîne de pensée (CoT) intermédiaire et sa caractéristique inhérente de décomposition des problèmes en sous-problèmes. En utilisant ces vecteurs pour un empoisonnement plus furtif, nous introduisons le concept de « poison de raisonnement décomposé », dans lequel l'attaquant modifie uniquement le chemin de raisonnement, laissant les invites et les réponses finales intactes, et répartit le déclencheur sur plusieurs composants individuellement inoffensifs. Fait fascinant, bien qu'il reste possible d'injecter ces poisons décomposés, les activer de manière fiable pour modifier les réponses finales (plutôt que simplement la CoT) s'avère étonnamment difficile. Cette difficulté découle du fait que les modèles peuvent souvent se remettre des portes dérobées activées au sein de leurs processus de pensée. En fin de compte, il semble qu'une forme émergente de robustesse contre les portes dérobées provienne des capacités de raisonnement de ces LLMs avancés, ainsi que de la séparation architecturale entre le raisonnement et la génération des réponses finales.

English

Early research into data poisoning attacks against Large Language Models (LLMs) demonstrated the ease with which backdoors could be injected. More recent LLMs add step-by-step reasoning, expanding the attack surface to include the intermediate chain-of-thought (CoT) and its inherent trait of decomposing problems into subproblems. Using these vectors for more stealthy poisoning, we introduce ``decomposed reasoning poison'', in which the attacker modifies only the reasoning path, leaving prompts and final answers clean, and splits the trigger across multiple, individually harmless components. Fascinatingly, while it remains possible to inject these decomposed poisons, reliably activating them to change final answers (rather than just the CoT) is surprisingly difficult. This difficulty arises because the models can often recover from backdoors that are activated within their thought processes. Ultimately, it appears that an emergent form of backdoor robustness is originating from the reasoning capabilities of these advanced LLMs, as well as from the architectural separation between reasoning and final answer generation.