Triangolo del Codice: Come Comprende il Codice un Modello Linguistico di Grandi Dimensioni?

Coding Triangle: How Does Large Language Model Understand Code?

July 8, 2025

Autori: Taolin Zhang, Zihan Ma, Maosong Cao, Junnan Liu, Songyang Zhang, Kai Chen

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno compiuto progressi notevoli nella generazione di codice, ma la loro vera competenza nella programmazione rimane ancora poco esplorata. Introduciamo il framework del Triangolo del Codice, che valuta sistematicamente i LLM lungo tre dimensioni fondamentali: analisi editoriale, implementazione del codice e generazione di casi di test. Attraverso esperimenti estesi su benchmark di programmazione competitiva, riveliamo che, sebbene i LLM possano formare un sistema auto-consistente attraverso queste dimensioni, le loro soluzioni spesso mancano della diversità e della robustezza dei programmatori umani. Identifichiamo un significativo spostamento distributivo tra la cognizione del modello e l'esperienza umana, con gli errori del modello che tendono a raggrupparsi a causa di bias nei dati di addestramento e di un trasferimento limitato del ragionamento. Il nostro studio dimostra che l'incorporazione di editoriali, soluzioni e casi di test generati da esseri umani, nonché l'utilizzo di miscele di modelli, può migliorare sostanzialmente sia le prestazioni che la robustezza dei LLM. Inoltre, riveliamo sia la coerenza che l'incoerenza nella cognizione dei LLM che possono facilitare l'autoriflessione e il miglioramento autonomo, fornendo una potenziale direzione per lo sviluppo di modelli di codifica più potenti.

English

Large language models (LLMs) have achieved remarkable progress in code generation, yet their true programming competence remains underexplored. We introduce the Code Triangle framework, which systematically evaluates LLMs across three fundamental dimensions: editorial analysis, code implementation, and test case generation. Through extensive experiments on competitive programming benchmarks, we reveal that while LLMs can form a self-consistent system across these dimensions, their solutions often lack the diversity and robustness of human programmers. We identify a significant distribution shift between model cognition and human expertise, with model errors tending to cluster due to training data biases and limited reasoning transfer. Our study demonstrates that incorporating human-generated editorials, solutions, and diverse test cases, as well as leveraging model mixtures, can substantially enhance both the performance and robustness of LLMs. Furthermore, we reveal both the consistency and inconsistency in the cognition of LLMs that may facilitate self-reflection and self-improvement, providing a potential direction for developing more powerful coding models.