Chaîne-de-Pensée-Défensive : Un Raisonnement Structuré Favorise la Robustesse des Modèles de Langage à Grande Échelle face à la Corruption des Références

Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption

April 29, 2025

Auteurs: Wenxiao Wang, Parsa Hosseini, Soheil Feizi

cs.AI

Résumé

L'incitation par chaîne de pensée a démontré un grand succès dans l'amélioration des capacités de raisonnement des grands modèles de langage. Dans ce travail, nous explorons comment ces capacités de raisonnement renforcées peuvent être exploitées pour améliorer la robustesse des grands modèles de langage dans des tâches qui ne sont pas nécessairement axées sur le raisonnement. En particulier, nous montrons comment un large éventail de grands modèles de langage présente une robustesse significativement améliorée contre la corruption des références grâce à une méthode simple appelée chaîne de pensée défensive, où seulement quelques exemples avec un raisonnement structuré et défensif sont fournis comme démonstrations. Empiriquement, les améliorations peuvent être stupéfiantes, surtout compte tenu de la simplicité et de l'applicabilité de la méthode. Par exemple, dans la tâche des Questions Naturelles, la précision de GPT-4o chute de 60 % à seulement 3 % avec une incitation standard lorsque 1 référence sur 10 fournie est corrompue par des attaques d'injection de prompt. En revanche, GPT-4o utilisant l'incitation par chaîne de pensée défensive maintient une précision de 50 %.

English

Chain-of-thought prompting has demonstrated great success in facilitating the reasoning abilities of large language models. In this work, we explore how these enhanced reasoning abilities can be exploited to improve the robustness of large language models in tasks that are not necessarily reasoning-focused. In particular, we show how a wide range of large language models exhibit significantly improved robustness against reference corruption using a simple method called chain-of-defensive-thought, where only a few exemplars with structured and defensive reasoning are provided as demonstrations. Empirically, the improvements can be astounding, especially given the simplicity and applicability of the method. For example, in the Natural Questions task, the accuracy of GPT-4o degrades from 60% to as low as 3% with standard prompting when 1 out of 10 references provided is corrupted with prompt injection attacks. In contrast, GPT-4o using chain-of-defensive-thought prompting maintains an accuracy of 50%.