Рассуждения вводят новые атаки отравления, но делают их более сложными

Reasoning Introduces New Poisoning Attacks Yet Makes Them More Complicated

September 6, 2025

Авторы: Hanna Foerster, Ilia Shumailov, Yiren Zhao, Harsh Chaudhari, Jamie Hayes, Robert Mullins, Yarin Gal

cs.AI

Аннотация

Ранние исследования атак с отравлением данных на крупные языковые модели (LLM) продемонстрировали, насколько легко можно внедрить бэкдоры. Более современные LLM добавляют пошаговое рассуждение, расширяя поверхность атаки, включая промежуточную цепочку мыслей (CoT) и её присущую способность разбивать задачи на подзадачи. Используя эти векторы для более скрытного отравления, мы представляем «отравление через декомпозированное рассуждение», при котором злоумышленник изменяет только путь рассуждения, оставляя промпты и конечные ответы неизменными, и распределяет триггер по нескольким, по отдельности безвредным компонентам. Интересно, что хотя внедрение таких декомпозированных отравлений остаётся возможным, надёжная активация их для изменения конечных ответов (а не только CoT) оказывается удивительно сложной. Эта сложность возникает из-за того, что модели часто могут восстанавливаться после активации бэкдоров в процессе их рассуждений. В конечном итоге, кажется, что форма устойчивости к бэкдорам возникает благодаря способностям к рассуждению у этих продвинутых LLM, а также из-за архитектурного разделения между процессом рассуждения и генерацией конечного ответа.

English

Early research into data poisoning attacks against Large Language Models (LLMs) demonstrated the ease with which backdoors could be injected. More recent LLMs add step-by-step reasoning, expanding the attack surface to include the intermediate chain-of-thought (CoT) and its inherent trait of decomposing problems into subproblems. Using these vectors for more stealthy poisoning, we introduce ``decomposed reasoning poison'', in which the attacker modifies only the reasoning path, leaving prompts and final answers clean, and splits the trigger across multiple, individually harmless components. Fascinatingly, while it remains possible to inject these decomposed poisons, reliably activating them to change final answers (rather than just the CoT) is surprisingly difficult. This difficulty arises because the models can often recover from backdoors that are activated within their thought processes. Ultimately, it appears that an emergent form of backdoor robustness is originating from the reasoning capabilities of these advanced LLMs, as well as from the architectural separation between reasoning and final answer generation.