Nicht alle LLM-Begründungssysteme sind gleichwertig.

Not All LLM Reasoners Are Created Equal

October 2, 2024

Autoren: Arian Hosseini, Alessandro Sordoni, Daniel Toyama, Aaron Courville, Rishabh Agarwal

cs.AI

Zusammenfassung

Wir untersuchen die Tiefe der Problemlösungsfähigkeiten von Grundschulmathematik (GSM) von LLMs. Zu diesem Zweck bewerten wir ihre Leistung bei Paaren bestehender mathematischer Textaufgaben, bei denen die Antwort auf die zweite Aufgabe von der korrekten Beantwortung der ersten Aufgabe abhängt. Unsere Ergebnisse zeigen eine signifikante Denklücke bei den meisten LLMs auf, nämlich einen Leistungsunterschied zwischen der Lösung der zusammengesetzten Paare und der Lösung jeder Frage unabhängig voneinander. Diese Lücke ist bei kleineren, kostengünstigeren und auf Mathematik spezialisierten Modellen ausgeprägter. Darüber hinaus haben Anweisungsabstimmungsrezepte und Codegenerierung unterschiedliche Auswirkungen auf LLM-Größen, während Feinabstimmung auf GSM zu einer Aufgabenüberanpassung führen kann. Unsere Analyse deutet darauf hin, dass große Denklücken nicht auf Testset-Lecks zurückzuführen sind, sondern auf Ablenkung durch zusätzlichen Kontext und schlechtes Denken in der zweiten Stufe. Insgesamt zeigen LLMs systematische Unterschiede in ihren Denkfähigkeiten auf, unabhängig davon, was ihre Leistung auf Standard-Benchmarks nahelegt.

English

We study the depth of grade-school math (GSM) problem-solving capabilities of LLMs. To this end, we evaluate their performance on pairs of existing math word problems together so that the answer to the second problem depends on correctly answering the first problem. Our findings reveal a significant reasoning gap in most LLMs, that is performance difference between solving the compositional pairs and solving each question independently. This gap is more pronounced in smaller, more cost-efficient, and math-specialized models. Moreover, instruction-tuning recipes and code generation have varying effects across LLM sizes, while finetuning on GSM can lead to task overfitting. Our analysis indicates that large reasoning gaps are not because of test-set leakage, but due to distraction from additional context and poor second-hop reasoning. Overall, LLMs exhibit systematic differences in their reasoning abilities, despite what their performance on standard benchmarks indicates.