Welche Datenattribute fördern mathematisches und programmtechnisches Denken? Eine Untersuchung mittels Einflussfunktionen

Which Data Attributes Stimulate Math and Code Reasoning? An Investigation via Influence Functions

May 26, 2025

Autoren: Siqi Kou, Qingyuan Tian, Hanwen Xu, Zihao Zeng, Zhijie Deng

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten im Bereich Mathematik und Programmieren gezeigt, die oft durch Nachschulung anhand von Gedankenketten (Chain-of-Thoughts, CoTs) stärkerer Modelle weiter verbessert werden. Bisherige Strategien zur Erstellung solcher Trainingsdaten basieren jedoch überwiegend auf Heuristiken, was die Generalisierbarkeit einschränkt und die subtilen Nuancen in den Daten nicht erfasst. Um diese Einschränkungen zu überwinden, nutzen wir Einflussfunktionen, um die Fähigkeit von LLMs im Bereich Mathematik und Programmieren systematisch auf einzelne Trainingsbeispiele, Sequenzen und Tokens zurückzuführen. Dies ermöglicht tiefere Einblicke in effektive Datenmerkmale. Unsere Einflussbasierte Reasoning-Attribution (Infra) deckt nicht-triviale, domänenübergreifende Effekte zwischen Mathematik- und Programmieraufgaben auf: Hochschwierige Mathematikbeispiele verbessern sowohl das mathematische als auch das programmiertechnische Denken, während niedrigschwierige Programmieraufgaben das programmiertechnische Denken am effektivsten fördern. Basierend auf diesen Erkenntnissen führen wir eine einfache, aber effektive Strategie zur Neugewichtung von Datensätzen ein, indem wir die Aufgabenschwierigkeit umkehren. Dies verdoppelt die Genauigkeit bei AIME24 von 10 % auf 20 % und steigert die Genauigkeit bei LiveCodeBench von 33,8 % auf 35,3 % für Qwen2.5-7B-Instruct. Darüber hinaus zeigt unsere feingranulare Attribution, dass explorative Verhaltensweisen auf Sequenzebene die Denkleistung sowohl in Mathematik als auch im Programmieren verbessern und dass die Einflussmuster auf Tokenebene für mathematisches und programmiertechnisches Denken unterschiedlich sind: Erstere bevorzugen logische Verbindungselemente in natürlicher Sprache, während Letztere strukturelle Syntax betonen.

English

Large language models (LLMs) have demonstrated remarkable reasoning capabilities in math and coding, often bolstered by post-training on the chain-of-thoughts (CoTs) generated by stronger models. However, existing strategies for curating such training data predominantly rely on heuristics, limiting generalizability and failing to capture subtleties underlying in data. To address these limitations, we leverage influence functions to systematically attribute LLMs' reasoning ability on math and coding to individual training examples, sequences, and tokens, enabling deeper insights into effective data characteristics. Our Influence-based Reasoning Attribution (Infra) uncovers nontrivial cross-domain effects across math and coding tasks: high-difficulty math examples improve both math and code reasoning, while low-difficulty code tasks most effectively benefit code reasoning. Based on these findings, we introduce a simple yet effective dataset reweighting strategy by flipping task difficulty, which doubles AIME24 accuracy from 10\% to 20\% and boosts LiveCodeBench accuracy from 33.8\% to 35.3\% for Qwen2.5-7B-Instruct. Moreover, our fine-grained attribution reveals that the sequence-level exploratory behaviors enhance reasoning performance in both math and code, and the token-level influence patterns are distinct for math and code reasoning: the former prefers natural language logic connectors and the latter emphasizes structural syntax.