Contrastieve Ketendenk-prompting

Contrastive Chain-of-Thought Prompting

November 15, 2023

Auteurs: Yew Ken Chia, Guizhen Chen, Luu Anh Tuan, Soujanya Poria, Lidong Bing

cs.AI

Samenvatting

Ondanks het succes van de gedachtegang (chain of thought) bij het verbeteren van het redeneervermogen van taalmodelen, blijft het onderliggende proces minder goed begrepen. Hoewel logisch correct redeneren inherent cruciaal lijkt voor de gedachtegang, tonen eerdere studies verrassend genoeg minimale impact aan bij het gebruik van ongeldige demonstraties. Bovendien informeert de conventionele gedachtegang taalmodelen niet over welke fouten ze moeten vermijden, wat mogelijk tot meer fouten leidt. Daarom, geïnspireerd door hoe mensen kunnen leren van zowel positieve als negatieve voorbeelden, stellen we de contrastieve gedachtegang voor om het redeneervermogen van taalmodelen te verbeteren. In vergelijking met de conventionele gedachtegang biedt onze aanpak zowel geldige als ongeldige redeneerdemonstraties, om het model te begeleiden bij stap-voor-stap redeneren terwijl redeneerfouten worden verminderd. Om de generalisatie te verbeteren, introduceren we een automatische methode om contrastieve demonstraties te construeren. Onze experimenten op redeneerbenchmarks tonen aan dat de contrastieve gedachtegang kan dienen als een algemene verbetering van gedachtegang-prompting.

English

Despite the success of chain of thought in enhancing language model reasoning, the underlying process remains less well understood. Although logically sound reasoning appears inherently crucial for chain of thought, prior studies surprisingly reveal minimal impact when using invalid demonstrations instead. Furthermore, the conventional chain of thought does not inform language models on what mistakes to avoid, which potentially leads to more errors. Hence, inspired by how humans can learn from both positive and negative examples, we propose contrastive chain of thought to enhance language model reasoning. Compared to the conventional chain of thought, our approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes. To improve generalization, we introduce an automatic method to construct contrastive demonstrations. Our experiments on reasoning benchmarks demonstrate that contrastive chain of thought can serve as a general enhancement of chain-of-thought prompting.