¿Qué atributos de los datos estimulan el razonamiento matemático y de código? Una investigación mediante funciones de influencia.

Which Data Attributes Stimulate Math and Code Reasoning? An Investigation via Influence Functions

May 26, 2025

Autores: Siqi Kou, Qingyuan Tian, Hanwen Xu, Zihao Zeng, Zhijie Deng

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado capacidades de razonamiento notables en matemáticas y programación, a menudo potenciadas por el entrenamiento posterior en cadenas de pensamiento (CoTs, por sus siglas en inglés) generadas por modelos más avanzados. Sin embargo, las estrategias existentes para la selección de dichos datos de entrenamiento se basan predominantemente en heurísticas, lo que limita la generalización y no logra captar las sutilezas subyacentes en los datos. Para abordar estas limitaciones, utilizamos funciones de influencia para atribuir sistemáticamente la capacidad de razonamiento de los LLMs en matemáticas y programación a ejemplos, secuencias y tokens individuales de entrenamiento, lo que permite obtener una comprensión más profunda de las características efectivas de los datos. Nuestra Atribución de Razonamiento Basada en Influencia (Infra, por sus siglas en inglés) revela efectos no triviales entre dominios en tareas de matemáticas y programación: los ejemplos de matemáticas de alta dificultad mejoran tanto el razonamiento matemático como el de programación, mientras que las tareas de programación de baja dificultad benefician más efectivamente el razonamiento en código. Basándonos en estos hallazgos, introducimos una estrategia simple pero efectiva de re-ponderación de datos al invertir la dificultad de las tareas, lo que duplica la precisión de AIME24 del 10% al 20% y aumenta la precisión de LiveCodeBench del 33.8% al 35.3% para Qwen2.5-7B-Instruct. Además, nuestra atribución detallada revela que los comportamientos exploratorios a nivel de secuencia mejoran el rendimiento del razonamiento tanto en matemáticas como en programación, y que los patrones de influencia a nivel de token son distintos para el razonamiento matemático y el de programación: el primero prefiere conectores lógicos en lenguaje natural, mientras que el segundo enfatiza la sintaxis estructural.

English

Large language models (LLMs) have demonstrated remarkable reasoning capabilities in math and coding, often bolstered by post-training on the chain-of-thoughts (CoTs) generated by stronger models. However, existing strategies for curating such training data predominantly rely on heuristics, limiting generalizability and failing to capture subtleties underlying in data. To address these limitations, we leverage influence functions to systematically attribute LLMs' reasoning ability on math and coding to individual training examples, sequences, and tokens, enabling deeper insights into effective data characteristics. Our Influence-based Reasoning Attribution (Infra) uncovers nontrivial cross-domain effects across math and coding tasks: high-difficulty math examples improve both math and code reasoning, while low-difficulty code tasks most effectively benefit code reasoning. Based on these findings, we introduce a simple yet effective dataset reweighting strategy by flipping task difficulty, which doubles AIME24 accuracy from 10\% to 20\% and boosts LiveCodeBench accuracy from 33.8\% to 35.3\% for Qwen2.5-7B-Instruct. Moreover, our fine-grained attribution reveals that the sequence-level exploratory behaviors enhance reasoning performance in both math and code, and the token-level influence patterns are distinct for math and code reasoning: the former prefers natural language logic connectors and the latter emphasizes structural syntax.