CodeCircuit: Rumo à Inferência da Correção de Código Gerado por LLM por meio de Grafos de Atribuição
CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs
February 6, 2026
Autores: Yicheng He, Zheng Zhao, Zhou Kaiyu, Bryan Dai, Jie Fu, Yonghui Yang
cs.AI
Resumo
Os paradigmas atuais para verificação de código dependem fortemente de mecanismos externos—como testes unitários baseados em execução ou juízes auxiliares baseados em LLM—que são frequentemente intensivos em mão de obra ou limitados pelas capacidades do próprio modelo de julgamento. Isso levanta uma questão fundamental, mas ainda não explorada: A correção funcional de um LLM pode ser avaliada puramente a partir de sua estrutura computacional interna? Nosso objetivo principal é investigar se a dinâmica neural do modelo codifica sinais internamente decodificáveis que são preditivos de validade lógica durante a geração de código. Inspirados pela interpretabilidade mecanicista, propomos tratar a verificação de código como uma tarefa de diagnóstico mecanicista, mapeando a trajetória algorítmica explícita do modelo em grafos de atribuição em nível de linha. Ao decompor fluxos residuais complexos, visamos identificar as assinaturas estruturais que distinguem o raciocínio sólido da falha lógica dentro dos circuitos internos do modelo. A análise em Python, C++ e Java confirma que os sinais intrínsecos de correção são robustos em diversas sintaxes. Características topológicas desses grafos internos preveem a correção com mais confiabilidade do que heurísticas superficiais e permitem intervenções causais direcionadas para corrigir lógica errônea. Essas descobertas estabelecem a introspecção interna como uma propriedade decodificável para verificar código gerado. Nosso código está em https:// github.com/bruno686/CodeCircuit.
English
Current paradigms for code verification rely heavily on external mechanisms-such as execution-based unit tests or auxiliary LLM judges-which are often labor-intensive or limited by the judging model's own capabilities. This raises a fundamental, yet unexplored question: Can an LLM's functional correctness be assessed purely from its internal computational structure? Our primary objective is to investigate whether the model's neural dynamics encode internally decodable signals that are predictive of logical validity during code generation. Inspired by mechanistic interpretability, we propose to treat code verification as a mechanistic diagnostic task, mapping the model's explicit algorithmic trajectory into line-level attribution graphs. By decomposing complex residual flows, we aim to identify the structural signatures that distinguish sound reasoning from logical failure within the model's internal circuits. Analysis across Python, C++, and Java confirms that intrinsic correctness signals are robust across diverse syntaxes. Topological features from these internal graphs predict correctness more reliably than surface heuristics and enable targeted causal interventions to fix erroneous logic. These findings establish internal introspection as a decodable property for verifying generated code. Our code is at https:// github.com/bruno686/CodeCircuit.