El orden de las premisas importa en el razonamiento con modelos de lenguaje de gran escala.

Premise Order Matters in Reasoning with Large Language Models

February 14, 2024

Autores: Xinyun Chen, Ryan A. Chi, Xuezhi Wang, Denny Zhou

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han logrado un rendimiento notable en tareas de razonamiento en diversos dominios. Sin embargo, en el ámbito de las tareas de razonamiento, descubrimos una debilidad: los LLMs son sorprendentemente frágiles ante el orden de las premisas, a pesar de que dicho orden no altera la tarea subyacente. En particular, observamos que los LLMs alcanzan su mejor rendimiento cuando el orden de las premisas coincide con el contexto requerido en los pasos intermedios del razonamiento. Por ejemplo, en tareas de razonamiento deductivo, presentar las premisas en el mismo orden que la prueba de referencia en el prompt (en lugar de un orden aleatorio) aumenta drásticamente la precisión del modelo. Primero examinamos el efecto del orden de las premisas en el razonamiento deductivo en una variedad de LLMs, y nuestra evaluación muestra que permutar el orden de las premisas puede causar una caída en el rendimiento de más del 30%. Además, lanzamos el benchmark R-GSM, basado en GSM8K, para examinar el efecto del orden en la resolución de problemas matemáticos, y nuevamente observamos una caída significativa en la precisión en comparación con el benchmark original GSM8K.

English

Large language models (LLMs) have accomplished remarkable reasoning performance in various domains. However, in the domain of reasoning tasks, we discover a frailty: LLMs are surprisingly brittle to the ordering of the premises, despite the fact that such ordering does not alter the underlying task. In particular, we observe that LLMs achieve the best performance when the premise order aligns with the context required in intermediate reasoning steps. For example, in deductive reasoning tasks, presenting the premises in the same order as the ground truth proof in the prompt (as opposed to random ordering) drastically increases the model's accuracy. We first examine the effect of premise ordering on deductive reasoning on a variety of LLMs, and our evaluation shows that permuting the premise order can cause a performance drop of over 30%. In addition, we release the benchmark R-GSM, based on GSM8K, to examine the ordering effect for mathematical problem-solving, and we again observe a significant drop in accuracy, relative to the original GSM8K benchmark.