Compreensão por Reconstrução: Revertendo o Processo de Desenvolvimento de Software para Pré-treinamento de LLMs
Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining
March 11, 2026
Autores: Zhiyuan Zeng, Yichi Zhang, Yong Shan, Kai Hua, Siyuan Fang, Zhaiyu Liu, Jiaheng Liu, Haozhe Wang, Yining Zheng, Ming Ding, Ke Shen, Ge Zhang, Wenhao Huang, Xipeng Qiu
cs.AI
Resumo
Embora os Modelos de Linguagem de Grande Porte (LLMs) tenham alcançado sucesso notável na geração de código, eles frequentemente lutam com o raciocínio profundo e de longo horizonte necessário para a engenharia de software complexa. Atribuímos essa limitação à natureza dos dados padrão de pré-treinamento: repositórios de software estáticos representam apenas o estado terminal de um processo intelectual intrincado, abstraindo o planeamento intermédio, a depuração e o refinamento iterativo. Para colmatar esta lacuna, propomos um novo paradigma: compreensão através da reconstrução. Colocamos a hipótese de que a engenharia reversa das trajetórias agentes latentes – as etapas de planeamento, raciocínio e depuração – por trás de repositórios estáticos fornece um sinal de supervisão muito mais rico do que o código bruto por si só. Para operacionalizar isto, introduzimos uma estrutura que sintetiza essas trajetórias usando uma simulação multiagente. Este processo está ancorado nas realidades estruturais dos repositórios de origem (por exemplo, grafos de dependência e hierarquias de ficheiros) para garantir fidelidade. Além disso, para garantir o rigor lógico dos dados sintéticos, empregamos uma técnica de otimização baseada em busca que refina iterativamente o raciocínio em Cadeia de Pensamento (CoT) para maximizar a probabilidade do código de referência (ground-truth). Resultados empíricos demonstram que o pré-treinamento contínuo nessas trajetórias reconstruídas melhora significativamente o desempenho do Llama-3-8B em diversas benchmarks, incluindo compreensão de contexto longo, proficiência em codificação e capacidades agentes.
English
While Large Language Models (LLMs) have achieved remarkable success in code generation, they often struggle with the deep, long-horizon reasoning required for complex software engineering. We attribute this limitation to the nature of standard pre-training data: static software repositories represent only the terminal state of an intricate intellectual process, abstracting away the intermediate planning, debugging, and iterative refinement. To bridge this gap, we propose a novel paradigm: understanding via reconstruction. We hypothesize that reverse-engineering the latent agentic trajectories -- the planning, reasoning, and debugging steps -- behind static repositories provides a far richer supervision signal than raw code alone. To operationalize this, we introduce a framework that synthesizes these trajectories using a multi-agent simulation. This process is grounded in the structural realities of the source repositories (e.g., dependency graphs and file hierarchies) to ensure fidelity. Furthermore, to guarantee the logical rigor of the synthetic data, we employ a search-based optimization technique that iteratively refines the Chain-of-Thought (CoT) reasoning to maximize the likelihood of the ground-truth code. Empirical results demonstrate that continuous pre-training on these reconstructed trajectories significantly enhances Llama-3-8B's performance across diverse benchmarks, including long-context understanding, coding proficiency, and agentic capabilities.