Triângulo de Codificação: Como os Modelos de Linguagem de Grande Escala Compreendem o Código?

Coding Triangle: How Does Large Language Model Understand Code?

July 8, 2025

Autores: Taolin Zhang, Zihan Ma, Maosong Cao, Junnan Liu, Songyang Zhang, Kai Chen

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm alcançado progressos notáveis na geração de código, mas sua verdadeira competência em programação ainda é pouco explorada. Introduzimos o framework Triângulo de Código, que avalia sistematicamente os LLMs em três dimensões fundamentais: análise editorial, implementação de código e geração de casos de teste. Por meio de extensos experimentos em benchmarks de programação competitiva, revelamos que, embora os LLMs possam formar um sistema autoconsistente nessas dimensões, suas soluções frequentemente carecem da diversidade e robustez dos programadores humanos. Identificamos uma mudança significativa na distribuição entre a cognição do modelo e a expertise humana, com erros do modelo tendendo a se agrupar devido a vieses nos dados de treinamento e transferência limitada de raciocínio. Nosso estudo demonstra que a incorporação de editoriais, soluções e casos de teste diversos gerados por humanos, bem como o uso de misturas de modelos, pode aprimorar substancialmente tanto o desempenho quanto a robustez dos LLMs. Além disso, revelamos tanto a consistência quanto a inconsistência na cognição dos LLMs que podem facilitar a autorreflexão e a autossuperação, fornecendo uma direção potencial para o desenvolvimento de modelos de codificação mais poderosos.

English

Large language models (LLMs) have achieved remarkable progress in code generation, yet their true programming competence remains underexplored. We introduce the Code Triangle framework, which systematically evaluates LLMs across three fundamental dimensions: editorial analysis, code implementation, and test case generation. Through extensive experiments on competitive programming benchmarks, we reveal that while LLMs can form a self-consistent system across these dimensions, their solutions often lack the diversity and robustness of human programmers. We identify a significant distribution shift between model cognition and human expertise, with model errors tending to cluster due to training data biases and limited reasoning transfer. Our study demonstrates that incorporating human-generated editorials, solutions, and diverse test cases, as well as leveraging model mixtures, can substantially enhance both the performance and robustness of LLMs. Furthermore, we reveal both the consistency and inconsistency in the cognition of LLMs that may facilitate self-reflection and self-improvement, providing a potential direction for developing more powerful coding models.