Порядок предпосылок имеет значение при рассуждении с использованием больших языковых моделей.

Premise Order Matters in Reasoning with Large Language Models

February 14, 2024

Авторы: Xinyun Chen, Ryan A. Chi, Xuezhi Wang, Denny Zhou

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют впечатляющие результаты в задачах логического рассуждения в различных областях. Однако в сфере задач на рассуждение мы обнаруживаем уязвимость: LLM оказываются удивительно чувствительными к порядку предпосылок, несмотря на то, что такой порядок не меняет сути задачи. В частности, мы наблюдаем, что LLM показывают наилучшие результаты, когда порядок предпосылок соответствует контексту, необходимому для промежуточных шагов рассуждения. Например, в задачах дедуктивного рассуждения представление предпосылок в том же порядке, что и в эталонном доказательстве в промпте (в отличие от случайного порядка), значительно повышает точность модели. Мы сначала исследуем влияние порядка предпосылок на дедуктивное рассуждение в различных LLM, и наша оценка показывает, что перестановка порядка предпосылок может привести к снижению производительности более чем на 30%. Кроме того, мы представляем бенчмарк R-GSM, основанный на GSM8K, для изучения влияния порядка на решение математических задач, и снова наблюдаем значительное снижение точности по сравнению с оригинальным бенчмарком GSM8K.

English

Large language models (LLMs) have accomplished remarkable reasoning performance in various domains. However, in the domain of reasoning tasks, we discover a frailty: LLMs are surprisingly brittle to the ordering of the premises, despite the fact that such ordering does not alter the underlying task. In particular, we observe that LLMs achieve the best performance when the premise order aligns with the context required in intermediate reasoning steps. For example, in deductive reasoning tasks, presenting the premises in the same order as the ground truth proof in the prompt (as opposed to random ordering) drastically increases the model's accuracy. We first examine the effect of premise ordering on deductive reasoning on a variety of LLMs, and our evaluation shows that permuting the premise order can cause a performance drop of over 30%. In addition, we release the benchmark R-GSM, based on GSM8K, to examine the ordering effect for mathematical problem-solving, and we again observe a significant drop in accuracy, relative to the original GSM8K benchmark.