Какие атрибуты данных стимулируют математическое и программное мышление? Исследование с использованием функций влияния

Which Data Attributes Stimulate Math and Code Reasoning? An Investigation via Influence Functions

May 26, 2025

Авторы: Siqi Kou, Qingyuan Tian, Hanwen Xu, Zihao Zeng, Zhijie Deng

cs.AI

Аннотация

Крупные языковые модели (LLMs) продемонстрировали выдающиеся способности к рассуждению в математике и программировании, часто усиленные пост-обучением на цепочках рассуждений (CoTs), сгенерированных более мощными моделями. Однако существующие стратегии отбора таких обучающих данных в основном опираются на эвристики, что ограничивает обобщаемость и не позволяет уловить тонкости, заложенные в данных. Для устранения этих ограничений мы используем функции влияния для систематического анализа вклада отдельных обучающих примеров, последовательностей и токенов в способность LLMs к рассуждению в математике и программировании, что позволяет глубже понять характеристики эффективных данных. Наш метод анализа влияния на рассуждения (Infra) выявляет нетривиальные кросс-доменные эффекты между задачами по математике и программированию: примеры с высокой сложностью в математике улучшают как математические, так и программные рассуждения, в то время как задачи с низкой сложностью в программировании наиболее эффективно способствуют улучшению программных рассуждений. На основе этих результатов мы предлагаем простую, но эффективную стратегию перевзвешивания данных путем изменения сложности задач, что удваивает точность AIME24 с 10\% до 20\% и повышает точность LiveCodeBench с 33.8\% до 35.3\% для модели Qwen2.5-7B-Instruct. Кроме того, наш детальный анализ влияния показывает, что исследовательское поведение на уровне последовательностей улучшает производительность рассуждений как в математике, так и в программировании, а паттерны влияния на уровне токенов различаются для математических и программных рассуждений: первые предпочитают логические связки на естественном языке, а вторые акцентируют внимание на структурном синтаксисе.

English

Large language models (LLMs) have demonstrated remarkable reasoning capabilities in math and coding, often bolstered by post-training on the chain-of-thoughts (CoTs) generated by stronger models. However, existing strategies for curating such training data predominantly rely on heuristics, limiting generalizability and failing to capture subtleties underlying in data. To address these limitations, we leverage influence functions to systematically attribute LLMs' reasoning ability on math and coding to individual training examples, sequences, and tokens, enabling deeper insights into effective data characteristics. Our Influence-based Reasoning Attribution (Infra) uncovers nontrivial cross-domain effects across math and coding tasks: high-difficulty math examples improve both math and code reasoning, while low-difficulty code tasks most effectively benefit code reasoning. Based on these findings, we introduce a simple yet effective dataset reweighting strategy by flipping task difficulty, which doubles AIME24 accuracy from 10\% to 20\% and boosts LiveCodeBench accuracy from 33.8\% to 35.3\% for Qwen2.5-7B-Instruct. Moreover, our fine-grained attribution reveals that the sequence-level exploratory behaviors enhance reasoning performance in both math and code, and the token-level influence patterns are distinct for math and code reasoning: the former prefers natural language logic connectors and the latter emphasizes structural syntax.