Quais Atributos de Dados Estimulam o Raciocínio Matemático e de Código? Uma Investigação por Meio de Funções de Influência

Which Data Attributes Stimulate Math and Code Reasoning? An Investigation via Influence Functions

May 26, 2025

Autores: Siqi Kou, Qingyuan Tian, Hanwen Xu, Zihao Zeng, Zhijie Deng

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado capacidades notáveis de raciocínio em matemática e programação, frequentemente aprimoradas por pós-treinamento nas cadeias de pensamento (CoTs) geradas por modelos mais robustos. No entanto, as estratégias existentes para a curadoria desses dados de treinamento dependem predominantemente de heurísticas, limitando a generalização e falhando em capturar as sutilezas subjacentes aos dados. Para abordar essas limitações, utilizamos funções de influência para atribuir sistematicamente a capacidade de raciocínio dos LLMs em matemática e programação a exemplos individuais de treinamento, sequências e tokens, permitindo insights mais profundos sobre as características eficazes dos dados. Nossa Atribuição de Raciocínio Baseada em Influência (Infra) revela efeitos não triviais entre domínios em tarefas de matemática e programação: exemplos de matemática de alta dificuldade melhoram tanto o raciocínio matemático quanto o de programação, enquanto tarefas de programação de baixa dificuldade beneficiam mais efetivamente o raciocínio em código. Com base nessas descobertas, introduzimos uma estratégia simples, porém eficaz, de reajuste de peso do conjunto de dados, invertendo a dificuldade das tarefas, o que dobra a precisão do AIME24 de 10% para 20% e aumenta a precisão do LiveCodeBench de 33,8% para 35,3% para o Qwen2.5-7B-Instruct. Além disso, nossa atribuição em nível granular revela que os comportamentos exploratórios em nível de sequência melhoram o desempenho do raciocínio tanto em matemática quanto em programação, e os padrões de influência em nível de token são distintos para o raciocínio matemático e de programação: o primeiro prefere conectores lógicos em linguagem natural, enquanto o segundo enfatiza a sintaxe estrutural.

English

Large language models (LLMs) have demonstrated remarkable reasoning capabilities in math and coding, often bolstered by post-training on the chain-of-thoughts (CoTs) generated by stronger models. However, existing strategies for curating such training data predominantly rely on heuristics, limiting generalizability and failing to capture subtleties underlying in data. To address these limitations, we leverage influence functions to systematically attribute LLMs' reasoning ability on math and coding to individual training examples, sequences, and tokens, enabling deeper insights into effective data characteristics. Our Influence-based Reasoning Attribution (Infra) uncovers nontrivial cross-domain effects across math and coding tasks: high-difficulty math examples improve both math and code reasoning, while low-difficulty code tasks most effectively benefit code reasoning. Based on these findings, we introduce a simple yet effective dataset reweighting strategy by flipping task difficulty, which doubles AIME24 accuracy from 10\% to 20\% and boosts LiveCodeBench accuracy from 33.8\% to 35.3\% for Qwen2.5-7B-Instruct. Moreover, our fine-grained attribution reveals that the sequence-level exploratory behaviors enhance reasoning performance in both math and code, and the token-level influence patterns are distinct for math and code reasoning: the former prefers natural language logic connectors and the latter emphasizes structural syntax.