Über Code-induziertes Denken in LLMs

papers.abstract

Es wurde gezeigt, dass Code-Daten die Fähigkeiten großer Sprachmodelle (LLMs) zur logischen Schlussfolgerung verbessern, doch es bleibt unklar, welche Aspekte des Codes dafür hauptsächlich verantwortlich sind. Wir untersuchen diese Frage mit einem systematischen, datenzentrierten Rahmenwerk. Wir erstellen parallele Instruktionsdatensätze in zehn Programmiersprachen und wenden kontrollierte Störungen an, die gezielt strukturelle oder semantische Eigenschaften des Codes beeinträchtigen. Anschließend finetunen wir LLMs aus fünf Modellfamilien und acht Skalierungen auf jeder Variante und bewerten ihre Leistung bei Aufgaben in natürlicher Sprache, Mathematik und Code. Über 3.331 Experimente hinweg zeigen unsere Ergebnisse, dass LLMs anfälliger für strukturelle Störungen als für semantische sind, insbesondere bei mathematischen und Code-Aufgaben. Geeignete Abstraktionen wie Pseudocode und Flussdiagramme können ebenso effektiv sein wie Code, während die Kodierung derselben Informationen mit weniger Tokens ohne Einhaltung der ursprünglichen Syntax oft die Leistung beibehalten oder sogar verbessern kann. Bemerkenswerterweise bleibt sogar beschädigter Code mit irreführenden Signalen wettbewerbsfähig, wenn oberflächliche Regelmäßigkeiten bestehen bleiben. Schließlich beeinflussen auch syntaktische Stile aufgabenspezifische Gewinne, wobei Python das logische Denken in natürlicher Sprache begünstigt und niedrigere Programmiersprachen wie Java und Rust das mathematische Denken fördern. Durch unser systematisches Rahmenwerk möchten wir Einblicke bieten, wie verschiedene Eigenschaften des Codes das logische Denken beeinflussen, und die Gestaltung von Trainingsdaten zur Verbesserung der logischen Fähigkeiten von LLMs informieren.

English

Code data has been shown to enhance the reasoning capabilities of large language models (LLMs), but it remains unclear which aspects of code are most responsible. We investigate this question with a systematic, data-centric framework. We construct parallel instruction datasets in ten programming languages and apply controlled perturbations that selectively disrupt structural or semantic properties of code. We then finetune LLMs from five model families and eight scales on each variant and evaluate their performance on natural language, math, and code tasks. Across 3,331 experiments, our results show that LLMs are more vulnerable to structural perturbations than semantic ones, particularly on math and code tasks. Appropriate abstractions like pseudocode and flowcharts can be as effective as code, while encoding the same information with fewer tokens without adhering to original syntax can often retain or even improve performance. Remarkably, even corrupted code with misleading signals remains competitive when surface-level regularities persist. Finally, syntactic styles also shape task-specific gains with Python favoring natural language reasoning and lower-level languages such as Java and Rust favoring math. Through our systematic framework, we aim to provide insight into how different properties of code influence reasoning and inform the design of training data for enhancing LLM reasoning capabilities.

Über Code-induziertes Denken in LLMs

On Code-Induced Reasoning in LLMs

papers.abstract

Support