Chain-of-Defensive-Thought: Il Ragionamento Strutturato Evoca Robustezza nei Modelli Linguistici di Grande Scala contro la Corruzione dei Riferimenti

Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption

April 29, 2025

Autori: Wenxiao Wang, Parsa Hosseini, Soheil Feizi

cs.AI

Abstract

Il prompting a catena di pensiero ha dimostrato un grande successo nel facilitare le capacità di ragionamento dei modelli linguistici di grandi dimensioni. In questo lavoro, esploriamo come queste capacità di ragionamento potenziate possano essere sfruttate per migliorare la robustezza dei modelli linguistici di grandi dimensioni in compiti che non sono necessariamente focalizzati sul ragionamento. In particolare, mostriamo come un'ampia gamma di modelli linguistici di grandi dimensioni mostri un miglioramento significativo nella robustezza contro la corruzione dei riferimenti utilizzando un metodo semplice chiamato catena di pensiero difensivo, in cui vengono forniti solo pochi esempi con ragionamenti strutturati e difensivi come dimostrazioni. Empiricamente, i miglioramenti possono essere sorprendenti, soprattutto considerando la semplicità e l'applicabilità del metodo. Ad esempio, nel compito delle Natural Questions, l'accuratezza di GPT-4o diminuisce dal 60% a un minimo del 3% con il prompting standard quando 1 su 10 riferimenti forniti è corrotto da attacchi di iniezione di prompt. Al contrario, GPT-4o utilizzando il prompting a catena di pensiero difensivo mantiene un'accuratezza del 50%.

English

Chain-of-thought prompting has demonstrated great success in facilitating the reasoning abilities of large language models. In this work, we explore how these enhanced reasoning abilities can be exploited to improve the robustness of large language models in tasks that are not necessarily reasoning-focused. In particular, we show how a wide range of large language models exhibit significantly improved robustness against reference corruption using a simple method called chain-of-defensive-thought, where only a few exemplars with structured and defensive reasoning are provided as demonstrations. Empirically, the improvements can be astounding, especially given the simplicity and applicability of the method. For example, in the Natural Questions task, the accuracy of GPT-4o degrades from 60% to as low as 3% with standard prompting when 1 out of 10 references provided is corrupted with prompt injection attacks. In contrast, GPT-4o using chain-of-defensive-thought prompting maintains an accuracy of 50%.