De volgorde van premissen is van belang bij redeneren met grote taalmodellen.

Premise Order Matters in Reasoning with Large Language Models

February 14, 2024

Auteurs: Xinyun Chen, Ryan A. Chi, Xuezhi Wang, Denny Zhou

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben opmerkelijke redeneerprestaties behaald in verschillende domeinen. Echter, in het domein van redeneertaken ontdekken we een kwetsbaarheid: LLMs zijn verrassend gevoelig voor de volgorde van de premissen, ondanks het feit dat deze volgorde de onderliggende taak niet verandert. In het bijzonder merken we op dat LLMs de beste prestaties leveren wanneer de volgorde van de premissen overeenkomt met de context die vereist is in tussenliggende redeneerstappen. Bijvoorbeeld, in deductieve redeneertaken verhoogt het presenteren van de premissen in dezelfde volgorde als het grondwaarheidsbewijs in de prompt (in tegenstelling tot een willekeurige volgorde) de nauwkeurigheid van het model aanzienlijk. We onderzoeken eerst het effect van de volgorde van premissen op deductief redeneren bij verschillende LLMs, en onze evaluatie toont aan dat het permuteren van de volgorde van premissen een prestatieverlies van meer dan 30% kan veroorzaken. Daarnaast introduceren we de benchmark R-GSM, gebaseerd op GSM8K, om het effect van de volgorde te onderzoeken bij het oplossen van wiskundige problemen, en ook hier observeren we een significante daling in nauwkeurigheid ten opzichte van de originele GSM8K-benchmark.

English

Large language models (LLMs) have accomplished remarkable reasoning performance in various domains. However, in the domain of reasoning tasks, we discover a frailty: LLMs are surprisingly brittle to the ordering of the premises, despite the fact that such ordering does not alter the underlying task. In particular, we observe that LLMs achieve the best performance when the premise order aligns with the context required in intermediate reasoning steps. For example, in deductive reasoning tasks, presenting the premises in the same order as the ground truth proof in the prompt (as opposed to random ordering) drastically increases the model's accuracy. We first examine the effect of premise ordering on deductive reasoning on a variety of LLMs, and our evaluation shows that permuting the premise order can cause a performance drop of over 30%. In addition, we release the benchmark R-GSM, based on GSM8K, to examine the ordering effect for mathematical problem-solving, and we again observe a significant drop in accuracy, relative to the original GSM8K benchmark.