Атаки с внедрением отвлекающих факторов на крупные модели рассуждений: характеристика и защита

Distractor Injection Attacks on Large Reasoning Models: Characterization and Defense

October 17, 2025

Авторы: Zhehao Zhang, Weijie Xu, Shixian Cui, Chandan K. Reddy

cs.AI

Аннотация

Последние достижения в области крупных моделей рассуждений (LRMs) позволили добиться впечатляющих результатов в решении сложных задач, таких как математика и программирование, за счет генерации длинных цепочек рассуждений (Chain-of-Thought, CoT). В данной работе мы выявляем и систематически анализируем критическую уязвимость, которую называем "отвлечением рассуждений", когда LRMs отклоняются от основной цели из-за нерелевантных, но сложных задач, злонамеренно встроенных в запрос. В ходе всестороннего исследования на различных моделях и тестовых наборах мы показываем, что даже самые передовые LRMs крайне подвержены этой уязвимости, причем внедренные отвлекающие факторы снижают точность выполнения задач до 60%. Мы также обнаруживаем, что определенные методы согласования могут усиливать эту слабость, а модели могут демонстрировать скрытое подчинение, следуя замаскированным враждебным инструкциям в процессе рассуждений, но скрывая их в конечном выводе. Для снижения этих рисков мы предлагаем метод защиты на основе обучения, который сочетает контролируемую тонкую настройку (Supervised Fine-Tuning, SFT) и обучение с подкреплением (Reinforcement Learning, RL) на синтетических данных с атаками, повышая устойчивость более чем на 50 пунктов при сложных атаках с отвлечением. Наши результаты устанавливают "отвлечение рассуждений" как отдельную и актуальную угрозу надежности LRMs и предлагают практический шаг к созданию более безопасных и надежных систем рассуждений.

English

Recent advances in large reasoning models (LRMs) have enabled remarkable performance on complex tasks such as mathematics and coding by generating long Chain-of-Thought (CoT) traces. In this paper, we identify and systematically analyze a critical vulnerability we term reasoning distraction, where LRMs are diverted from their primary objective by irrelevant yet complex tasks maliciously embedded in the prompt. Through a comprehensive study across diverse models and benchmarks, we show that even state-of-the-art LRMs are highly susceptible, with injected distractors reducing task accuracy by up to 60%. We further reveal that certain alignment techniques can amplify this weakness and that models may exhibit covert compliance, following hidden adversarial instructions in reasoning while concealing them in the final output. To mitigate these risks, we propose a training-based defense that combines Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) on synthetic adversarial data, improving robustness by over 50 points on challenging distractor attacks. Our findings establish reasoning distraction as a distinct and urgent threat to LRM reliability and provide a practical step toward safer and more trustworthy reasoning systems.