Цепочка защитного мышления: структурированное рассуждение повышает устойчивость крупных языковых моделей к искажению референций

Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption

April 29, 2025

Авторы: Wenxiao Wang, Parsa Hosseini, Soheil Feizi

cs.AI

Аннотация

Метод цепочки рассуждений (chain-of-thought prompting) продемонстрировал значительный успех в улучшении способностей крупных языковых моделей к рассуждению. В данной работе мы исследуем, как эти улучшенные способности к рассуждению могут быть использованы для повышения устойчивости крупных языковых моделей в задачах, которые не обязательно сосредоточены на рассуждениях. В частности, мы показываем, что широкий спектр крупных языковых моделей демонстрирует значительно улучшенную устойчивость к искажению ссылок с использованием простого метода, называемого цепочкой защитных рассуждений (chain-of-defensive-thought), где в качестве демонстраций предоставляется лишь несколько примеров с структурированным и защитным рассуждением. Эмпирически, улучшения могут быть поразительными, особенно учитывая простоту и применимость метода. Например, в задаче Natural Questions точность GPT-4o снижается с 60% до всего 3% при стандартном запросе, когда 1 из 10 предоставленных ссылок искажается атаками инъекции запроса. В то же время, GPT-4o, использующий метод цепочки защитных рассуждений, сохраняет точность на уровне 50%.

English

Chain-of-thought prompting has demonstrated great success in facilitating the reasoning abilities of large language models. In this work, we explore how these enhanced reasoning abilities can be exploited to improve the robustness of large language models in tasks that are not necessarily reasoning-focused. In particular, we show how a wide range of large language models exhibit significantly improved robustness against reference corruption using a simple method called chain-of-defensive-thought, where only a few exemplars with structured and defensive reasoning are provided as demonstrations. Empirically, the improvements can be astounding, especially given the simplicity and applicability of the method. For example, in the Natural Questions task, the accuracy of GPT-4o degrades from 60% to as low as 3% with standard prompting when 1 out of 10 references provided is corrupted with prompt injection attacks. In contrast, GPT-4o using chain-of-defensive-thought prompting maintains an accuracy of 50%.