Nem todos os Raciocinadores LLM são Criados Iguais

Not All LLM Reasoners Are Created Equal

October 2, 2024

Autores: Arian Hosseini, Alessandro Sordoni, Daniel Toyama, Aaron Courville, Rishabh Agarwal

cs.AI

Resumo

Estudamos a profundidade das capacidades de resolução de problemas de matemática do ensino fundamental (GSM) dos LLMs. Para isso, avaliamos seu desempenho em pares de problemas de matemática existentes juntos, de modo que a resposta ao segundo problema depende de responder corretamente ao primeiro problema. Nossas descobertas revelam uma lacuna significativa de raciocínio na maioria dos LLMs, ou seja, diferença de desempenho entre resolver os pares compostos e resolver cada questão independentemente. Essa lacuna é mais pronunciada em modelos menores, mais eficientes em custos e especializados em matemática. Além disso, receitas de ajuste de instruções e geração de código têm efeitos variados entre os tamanhos dos LLMs, enquanto o ajuste fino em GSM pode levar ao overfitting da tarefa. Nossa análise indica que grandes lacunas de raciocínio não ocorrem por vazamento de conjunto de testes, mas devido a distração de contexto adicional e raciocínio deficiente de segundo nível. No geral, os LLMs exibem diferenças sistemáticas em suas habilidades de raciocínio, apesar do que seu desempenho em benchmarks padrão indica.

English

We study the depth of grade-school math (GSM) problem-solving capabilities of LLMs. To this end, we evaluate their performance on pairs of existing math word problems together so that the answer to the second problem depends on correctly answering the first problem. Our findings reveal a significant reasoning gap in most LLMs, that is performance difference between solving the compositional pairs and solving each question independently. This gap is more pronounced in smaller, more cost-efficient, and math-specialized models. Moreover, instruction-tuning recipes and code generation have varying effects across LLM sizes, while finetuning on GSM can lead to task overfitting. Our analysis indicates that large reasoning gaps are not because of test-set leakage, but due to distraction from additional context and poor second-hop reasoning. Overall, LLMs exhibit systematic differences in their reasoning abilities, despite what their performance on standard benchmarks indicates.