Cadeia-de-Pensamento-Defensivo: Raciocínio Estruturado Promove Robustez em Modelos de Linguagem de Grande Escala contra Corrupção de Referência

Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption

April 29, 2025

Autores: Wenxiao Wang, Parsa Hosseini, Soheil Feizi

cs.AI

Resumo

O prompting de cadeia de pensamento tem demonstrado grande sucesso em facilitar as habilidades de raciocínio de modelos de linguagem de grande escala. Neste trabalho, exploramos como essas habilidades aprimoradas de raciocínio podem ser exploradas para melhorar a robustez de modelos de linguagem de grande escala em tarefas que não são necessariamente focadas em raciocínio. Em particular, mostramos como uma ampla gama de modelos de linguagem de grande escala exibe uma melhoria significativa na robustez contra corrupção de referência usando um método simples chamado cadeia de pensamento defensivo, onde apenas alguns exemplos com raciocínio estruturado e defensivo são fornecidos como demonstrações. Empiricamente, as melhorias podem ser impressionantes, especialmente considerando a simplicidade e a aplicabilidade do método. Por exemplo, na tarefa de Natural Questions, a precisão do GPT-4o cai de 60% para apenas 3% com o prompting padrão quando 1 em 10 referências fornecidas é corrompida com ataques de injeção de prompt. Em contraste, o GPT-4o usando o prompting de cadeia de pensamento defensivo mantém uma precisão de 50%.

English

Chain-of-thought prompting has demonstrated great success in facilitating the reasoning abilities of large language models. In this work, we explore how these enhanced reasoning abilities can be exploited to improve the robustness of large language models in tasks that are not necessarily reasoning-focused. In particular, we show how a wide range of large language models exhibit significantly improved robustness against reference corruption using a simple method called chain-of-defensive-thought, where only a few exemplars with structured and defensive reasoning are provided as demonstrations. Empirically, the improvements can be astounding, especially given the simplicity and applicability of the method. For example, in the Natural Questions task, the accuracy of GPT-4o degrades from 60% to as low as 3% with standard prompting when 1 out of 10 references provided is corrupted with prompt injection attacks. In contrast, GPT-4o using chain-of-defensive-thought prompting maintains an accuracy of 50%.