Помогает ли увеличение вычислительных ресурсов во время вывода повышению устойчивости?

Does More Inference-Time Compute Really Help Robustness?

July 21, 2025

Авторы: Tong Wu, Chong Xiang, Jiachen T. Wang, Weichen Yu, Chawin Sitawarin, Vikash Sehwag, Prateek Mittal

cs.AI

Аннотация

Недавно Zaremba и коллеги продемонстрировали, что увеличение вычислительных ресурсов на этапе вывода повышает устойчивость крупных проприетарных языковых моделей (LLM) для рассуждений. В данной работе мы сначала показываем, что модели меньшего масштаба с открытым исходным кодом (например, DeepSeek R1, Qwen3, Phi-reasoning) также могут извлечь выгоду из масштабирования на этапе вывода с использованием простой стратегии принудительного ограничения бюджета. Что более важно, мы выявляем и критически исследуем неявное предположение в предыдущих работах: промежуточные шаги рассуждений скрыты от противников. Ослабляя это предположение, мы обнаруживаем важный риск безопасности, интуитивно обоснованный и эмпирически подтвержденный как закон обратного масштабирования: если промежуточные шаги рассуждений становятся явно доступными, увеличение вычислительных ресурсов на этапе вывода последовательно снижает устойчивость модели. Наконец, мы обсуждаем практические сценарии, в которых модели со скрытыми цепочками рассуждений остаются уязвимыми для атак, такие как модели с интегрированными инструментами рассуждений и атаки на извлечение продвинутых рассуждений. Наши результаты в совокупности демонстрируют, что преимущества масштабирования на этапе вывода в плане устойчивости сильно зависят от условий противодействия и контекста развертывания. Мы призываем практиков тщательно взвешивать эти тонкие компромиссы перед применением масштабирования на этапе вывода в чувствительных к безопасности реальных приложениях.

English

Recently, Zaremba et al. demonstrated that increasing inference-time computation improves robustness in large proprietary reasoning LLMs. In this paper, we first show that smaller-scale, open-source models (e.g., DeepSeek R1, Qwen3, Phi-reasoning) can also benefit from inference-time scaling using a simple budget forcing strategy. More importantly, we reveal and critically examine an implicit assumption in prior work: intermediate reasoning steps are hidden from adversaries. By relaxing this assumption, we identify an important security risk, intuitively motivated and empirically verified as an inverse scaling law: if intermediate reasoning steps become explicitly accessible, increased inference-time computation consistently reduces model robustness. Finally, we discuss practical scenarios where models with hidden reasoning chains are still vulnerable to attacks, such as models with tool-integrated reasoning and advanced reasoning extraction attacks. Our findings collectively demonstrate that the robustness benefits of inference-time scaling depend heavily on the adversarial setting and deployment context. We urge practitioners to carefully weigh these subtle trade-offs before applying inference-time scaling in security-sensitive, real-world applications.