Не все рассудители LLM созданы равными.

Not All LLM Reasoners Are Created Equal

October 2, 2024

Авторы: Arian Hosseini, Alessandro Sordoni, Daniel Toyama, Aaron Courville, Rishabh Agarwal

cs.AI

Аннотация

Мы исследуем способности моделей языков с ограниченной памятью (LLM) к решению задач математики начальной школы (GSM). Для этого мы оцениваем их производительность на парах существующих математических текстовых задач таким образом, что ответ на вторую задачу зависит от правильного ответа на первую задачу. Наши результаты показывают значительный разрыв в рассуждениях у большинства LLM, то есть разницу в производительности при решении композиционных пар и при решении каждого вопроса независимо. Этот разрыв более заметен в более маленьких, экономичных и специализированных на математике моделях. Более того, рецепты настройки инструкций и генерация кода оказывают различное воздействие в зависимости от размеров LLM, в то время как донастройка на GSM может привести к переобучению на задачу. Наш анализ показывает, что большие разрывы в рассуждениях не связаны с утечкой тестового набора данных, а вызваны отвлечением дополнительным контекстом и плохими рассуждениями на втором шаге. В целом LLM проявляют систематические различия в своих способностях к рассуждению, несмотря на их производительность на стандартных бенчмарках.

English

We study the depth of grade-school math (GSM) problem-solving capabilities of LLMs. To this end, we evaluate their performance on pairs of existing math word problems together so that the answer to the second problem depends on correctly answering the first problem. Our findings reveal a significant reasoning gap in most LLMs, that is performance difference between solving the compositional pairs and solving each question independently. This gap is more pronounced in smaller, more cost-efficient, and math-specialized models. Moreover, instruction-tuning recipes and code generation have varying effects across LLM sizes, while finetuning on GSM can lead to task overfitting. Our analysis indicates that large reasoning gaps are not because of test-set leakage, but due to distraction from additional context and poor second-hop reasoning. Overall, LLMs exhibit systematic differences in their reasoning abilities, despite what their performance on standard benchmarks indicates.