Welke Data-attributen Stimuleren Wiskundig en Code-redeneren? Een Onderzoek via Invloedsfuncties

Which Data Attributes Stimulate Math and Code Reasoning? An Investigation via Influence Functions

May 26, 2025

Auteurs: Siqi Kou, Qingyuan Tian, Hanwen Xu, Zihao Zeng, Zhijie Deng

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben opmerkelijke redeneervaardigheden getoond in wiskunde en codering, vaak versterkt door post-training op de ketens van gedachten (CoTs) die door sterkere modellen zijn gegenereerd. Bestaande strategieën voor het samenstellen van dergelijke trainingsgegevens zijn echter voornamelijk gebaseerd op heuristieken, wat de generaliseerbaarheid beperkt en de subtiliteiten in de gegevens niet voldoende vastlegt. Om deze beperkingen aan te pakken, maken we gebruik van invloedsfuncties om de redeneervaardigheid van LLMs op wiskunde en codering systematisch toe te schrijven aan individuele trainingsvoorbeelden, sequenties en tokens, waardoor diepere inzichten worden verkregen in effectieve gegevenskenmerken. Onze Influence-based Reasoning Attribution (Infra) onthult niet-triviale cross-domeineffecten tussen wiskunde- en coderings taken: voorbeelden met een hoge moeilijkheidsgraad in wiskunde verbeteren zowel het wiskundige als het coderingsredeneren, terwijl taken met een lage moeilijkheidsgraad in codering het meest effectief zijn voor het verbeteren van coderingsredeneren. Op basis van deze bevindingen introduceren we een eenvoudige maar effectieve strategie voor het herwegen van datasets door de taakmoeilijkheid om te keren, wat de nauwkeurigheid van AIME24 verdubbelt van 10\% naar 20\% en de nauwkeurigheid van LiveCodeBench verhoogt van 33.8\% naar 35.3\% voor Qwen2.5-7B-Instruct. Bovendien onthult onze fijnmazige attributie dat de sequentie-niveau verkennende gedragingen de redeneerprestaties in zowel wiskunde als codering verbeteren, en dat de token-niveau invloedspatronen verschillend zijn voor wiskundig en coderingsredeneren: het eerste geeft de voorkeur aan logische verbindingswoorden in natuurlijke taal, terwijl het laatste de nadruk legt op structurele syntaxis.

English

Large language models (LLMs) have demonstrated remarkable reasoning capabilities in math and coding, often bolstered by post-training on the chain-of-thoughts (CoTs) generated by stronger models. However, existing strategies for curating such training data predominantly rely on heuristics, limiting generalizability and failing to capture subtleties underlying in data. To address these limitations, we leverage influence functions to systematically attribute LLMs' reasoning ability on math and coding to individual training examples, sequences, and tokens, enabling deeper insights into effective data characteristics. Our Influence-based Reasoning Attribution (Infra) uncovers nontrivial cross-domain effects across math and coding tasks: high-difficulty math examples improve both math and code reasoning, while low-difficulty code tasks most effectively benefit code reasoning. Based on these findings, we introduce a simple yet effective dataset reweighting strategy by flipping task difficulty, which doubles AIME24 accuracy from 10\% to 20\% and boosts LiveCodeBench accuracy from 33.8\% to 35.3\% for Qwen2.5-7B-Instruct. Moreover, our fine-grained attribution reveals that the sequence-level exploratory behaviors enhance reasoning performance in both math and code, and the token-level influence patterns are distinct for math and code reasoning: the former prefers natural language logic connectors and the latter emphasizes structural syntax.