A Ordem das Premissas Importa no Raciocínio com Modelos de Linguagem de Grande Escala

Premise Order Matters in Reasoning with Large Language Models

February 14, 2024

Autores: Xinyun Chen, Ryan A. Chi, Xuezhi Wang, Denny Zhou

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) alcançaram desempenhos notáveis em tarefas de raciocínio em diversos domínios. No entanto, no âmbito de tarefas de raciocínio, descobrimos uma fragilidade: os LLMs são surpreendentemente sensíveis à ordem das premissas, apesar de essa ordem não alterar a natureza subjacente da tarefa. Em particular, observamos que os LLMs obtêm o melhor desempenho quando a ordem das premissas está alinhada com o contexto necessário nas etapas intermediárias de raciocínio. Por exemplo, em tarefas de raciocínio dedutivo, apresentar as premissas na mesma ordem da prova verdadeira no prompt (em vez de uma ordem aleatória) aumenta drasticamente a precisão do modelo. Primeiro, examinamos o efeito da ordem das premissas no raciocínio dedutivo em uma variedade de LLMs, e nossa avaliação mostra que permutar a ordem das premissas pode causar uma queda de desempenho superior a 30%. Além disso, lançamos o benchmark R-GSM, baseado no GSM8K, para examinar o efeito da ordem na resolução de problemas matemáticos, e novamente observamos uma queda significativa na precisão em relação ao benchmark GSM8K original.

English

Large language models (LLMs) have accomplished remarkable reasoning performance in various domains. However, in the domain of reasoning tasks, we discover a frailty: LLMs are surprisingly brittle to the ordering of the premises, despite the fact that such ordering does not alter the underlying task. In particular, we observe that LLMs achieve the best performance when the premise order aligns with the context required in intermediate reasoning steps. For example, in deductive reasoning tasks, presenting the premises in the same order as the ground truth proof in the prompt (as opposed to random ordering) drastically increases the model's accuracy. We first examine the effect of premise ordering on deductive reasoning on a variety of LLMs, and our evaluation shows that permuting the premise order can cause a performance drop of over 30%. In addition, we release the benchmark R-GSM, based on GSM8K, to examine the ordering effect for mathematical problem-solving, and we again observe a significant drop in accuracy, relative to the original GSM8K benchmark.