Begrijpen door Reconstructie: Het Omkeren van het Softwareontwikkelingsproces voor LLM-pretraining

Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining

March 11, 2026

Auteurs: Zhiyuan Zeng, Yichi Zhang, Yong Shan, Kai Hua, Siyuan Fang, Zhaiyu Liu, Jiaheng Liu, Haozhe Wang, Yining Zheng, Ming Ding, Ke Shen, Ge Zhang, Wenhao Huang, Xipeng Qiu

cs.AI

Samenvatting

Hoewel Large Language Models (LLM's) opmerkelijke successen hebben geboekt in codegeneratie, worstelen ze vaak met het diepe, langetermijndenken dat vereist is voor complexe software-engineering. Wij schrijven deze beperking toe aan de aard van standaard voor-trainingsdata: statische software-repositories vertegenwoordigen slechts de eindtoestand van een ingewikkeld intellectueel proces, waarbij de tussentijdse planning, debugging en iteratieve verfijning worden geabstraheerd. Om deze kloof te overbruggen, stellen we een nieuw paradigma voor: begrip via reconstructie. Onze hypothese is dat het reverse-engineeren van de latente, agent-achtige trajecten – de plannings-, redeneer- en debugstappen – achter statische repositories een veel rijkere supervisiesignaal oplevert dan ruwe code alleen. Om dit te operationaliseren, introduceren we een raamwerk dat deze trajecten synthetiseert met behulp van een multi-agent simulatie. Dit proces is verankerd in de structurele realiteit van de bron-repositories (bijv. afhankelijkheidsgrafen en bestandshiërarchieën) om de trouw te waarborgen. Verder gebruiken we, om de logische strengheid van de synthetische data te garanderen, een op zoekalgoritmen gebaseerde optimalisatietechniek die de Chain-of-Thought (CoT)-redenering iteratief verfijnt om de waarschijnlijkheid van de grond-waarheid-code te maximaliseren. Empirische resultaten tonen aan dat continu voor-trainen op deze gereconstrueerde trajecten de prestaties van Llama-3-8B aanzienlijk verbetert op diverse benchmarks, inclusief begrip van lange contexten, codeervaardigheid en agent-achtige capaciteiten.

English

While Large Language Models (LLMs) have achieved remarkable success in code generation, they often struggle with the deep, long-horizon reasoning required for complex software engineering. We attribute this limitation to the nature of standard pre-training data: static software repositories represent only the terminal state of an intricate intellectual process, abstracting away the intermediate planning, debugging, and iterative refinement. To bridge this gap, we propose a novel paradigm: understanding via reconstruction. We hypothesize that reverse-engineering the latent agentic trajectories -- the planning, reasoning, and debugging steps -- behind static repositories provides a far richer supervision signal than raw code alone. To operationalize this, we introduce a framework that synthesizes these trajectories using a multi-agent simulation. This process is grounded in the structural realities of the source repositories (e.g., dependency graphs and file hierarchies) to ensure fidelity. Furthermore, to guarantee the logical rigor of the synthetic data, we employ a search-based optimization technique that iteratively refines the Chain-of-Thought (CoT) reasoning to maximize the likelihood of the ground-truth code. Empirical results demonstrate that continuous pre-training on these reconstructed trajectories significantly enhances Llama-3-8B's performance across diverse benchmarks, including long-context understanding, coding proficiency, and agentic capabilities.