Das Einführen von Reasoning führt zu neuen Vergiftungsangriffen, macht diese jedoch gleichzeitig komplexer.

Reasoning Introduces New Poisoning Attacks Yet Makes Them More Complicated

September 6, 2025

papers.authors: Hanna Foerster, Ilia Shumailov, Yiren Zhao, Harsh Chaudhari, Jamie Hayes, Robert Mullins, Yarin Gal

cs.AI

papers.abstract

Frühe Forschungen zu Datenvergiftungsangriffen gegen Large Language Models (LLMs) zeigten, wie einfach Backdoors injiziert werden können. Neuere LLMs fügen schrittweises Denken hinzu, wodurch die Angriffsfläche auf die Zwischenkette des Denkens (Chain-of-Thought, CoT) und deren inhärente Eigenschaft, Probleme in Teilprobleme zu zerlegen, erweitert wird. Unter Nutzung dieser Vektoren für eine noch unauffälligere Vergiftung führen wir „zerlegtes Denkvergiften“ ein, bei dem der Angreifer nur den Denkpfad verändert, während die Eingabeaufforderungen und die endgültigen Antworten unverändert bleiben, und den Auslöser auf mehrere, einzeln harmlose Komponenten verteilt. Faszinierenderweise ist es zwar weiterhin möglich, diese zerlegten Gifte zu injizieren, doch ihre zuverlässige Aktivierung zur Änderung der endgültigen Antworten (anstatt nur des CoT) erweist sich als überraschend schwierig. Diese Schwierigkeit ergibt sich daraus, dass die Modelle oft von Backdoors, die innerhalb ihrer Denkprozesse aktiviert werden, wieder abweichen können. Letztendlich scheint sich eine emergente Form der Backdoor-Robustheit aus den Denkfähigkeiten dieser fortschrittlichen LLMs sowie aus der architektonischen Trennung zwischen Denken und der Generierung der endgültigen Antworten zu entwickeln.

English

Early research into data poisoning attacks against Large Language Models (LLMs) demonstrated the ease with which backdoors could be injected. More recent LLMs add step-by-step reasoning, expanding the attack surface to include the intermediate chain-of-thought (CoT) and its inherent trait of decomposing problems into subproblems. Using these vectors for more stealthy poisoning, we introduce ``decomposed reasoning poison'', in which the attacker modifies only the reasoning path, leaving prompts and final answers clean, and splits the trigger across multiple, individually harmless components. Fascinatingly, while it remains possible to inject these decomposed poisons, reliably activating them to change final answers (rather than just the CoT) is surprisingly difficult. This difficulty arises because the models can often recover from backdoors that are activated within their thought processes. Ultimately, it appears that an emergent form of backdoor robustness is originating from the reasoning capabilities of these advanced LLMs, as well as from the architectural separation between reasoning and final answer generation.