Chain-of-Defensive-Thought: Strukturiertes Denken fördert Robustheit in großen Sprachmodellen gegenüber Referenzkorruption

Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption

April 29, 2025

Autoren: Wenxiao Wang, Parsa Hosseini, Soheil Feizi

cs.AI

Zusammenfassung

Chain-of-Thought-Prompting hat großen Erfolg bei der Förderung der Argumentationsfähigkeiten großer Sprachmodelle gezeigt. In dieser Arbeit untersuchen wir, wie diese verbesserten Argumentationsfähigkeiten genutzt werden können, um die Robustheit großer Sprachmodelle bei Aufgaben zu verbessern, die nicht unbedingt auf Argumentation ausgerichtet sind. Insbesondere zeigen wir, wie eine Vielzahl großer Sprachmodelle deutlich verbesserte Robustheit gegen Referenzkorruption aufweisen, wenn eine einfache Methode namens Chain-of-Defensive-Thought verwendet wird, bei der nur wenige Beispiele mit strukturierter und defensiver Argumentation als Demonstrationen bereitgestellt werden. Empirisch können die Verbesserungen erstaunlich sein, insbesondere angesichts der Einfachheit und Anwendbarkeit der Methode. Zum Beispiel sinkt die Genauigkeit von GPT-4o bei der Aufgabe Natural Questions von 60 % auf bis zu 3 % bei Standard-Prompting, wenn 1 von 10 bereitgestellten Referenzen durch Prompt-Injection-Angriffe korrumpiert wird. Im Gegensatz dazu behält GPT-4o bei Verwendung von Chain-of-Defensive-Thought-Prompting eine Genauigkeit von 50 %.

English

Chain-of-thought prompting has demonstrated great success in facilitating the reasoning abilities of large language models. In this work, we explore how these enhanced reasoning abilities can be exploited to improve the robustness of large language models in tasks that are not necessarily reasoning-focused. In particular, we show how a wide range of large language models exhibit significantly improved robustness against reference corruption using a simple method called chain-of-defensive-thought, where only a few exemplars with structured and defensive reasoning are provided as demonstrations. Empirically, the improvements can be astounding, especially given the simplicity and applicability of the method. For example, in the Natural Questions task, the accuracy of GPT-4o degrades from 60% to as low as 3% with standard prompting when 1 out of 10 references provided is corrupted with prompt injection attacks. In contrast, GPT-4o using chain-of-defensive-thought prompting maintains an accuracy of 50%.