Das Codierungsdreieck: Wie verstehen große Sprachmodelle Code?
Coding Triangle: How Does Large Language Model Understand Code?
July 8, 2025
papers.authors: Taolin Zhang, Zihan Ma, Maosong Cao, Junnan Liu, Songyang Zhang, Kai Chen
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) haben bemerkenswerte Fortschritte in der Codegenerierung erzielt, doch ihre tatsächliche Programmierkompetenz bleibt weitgehend unerforscht. Wir stellen das Code-Triangle-Framework vor, das LLMs systematisch in drei grundlegenden Dimensionen bewertet: redaktionelle Analyse, Code-Implementierung und Testfallgenerierung. Durch umfangreiche Experimente mit Wettbewerbsprogrammierungs-Benchmarks zeigen wir, dass LLMs zwar ein selbstkonsistentes System über diese Dimensionen hinweg bilden können, ihre Lösungen jedoch oft die Vielfalt und Robustheit menschlicher Programmierer vermissen lassen. Wir identifizieren eine signifikante Verlagerung der Verteilung zwischen der Modellkognition und der menschlichen Expertise, wobei Modellfehler aufgrund von Verzerrungen in den Trainingsdaten und begrenztem Transfer von Schlussfolgerungen tendenziell gehäuft auftreten. Unsere Studie zeigt, dass die Einbindung von redaktionellen Beiträgen, Lösungen und vielfältigen Testfällen, die von Menschen erstellt wurden, sowie die Nutzung von Modellmischungen die Leistung und Robustheit von LLMs erheblich steigern können. Darüber hinaus offenbaren wir sowohl die Konsistenz als auch die Inkonsistenz in der Kognition von LLMs, die Selbstreflexion und Selbstverbesserung ermöglichen könnten, und bieten damit eine potenzielle Richtung für die Entwicklung leistungsfähigerer Codierungsmodelle.
English
Large language models (LLMs) have achieved remarkable progress in code
generation, yet their true programming competence remains underexplored. We
introduce the Code Triangle framework, which systematically evaluates LLMs
across three fundamental dimensions: editorial analysis, code implementation,
and test case generation. Through extensive experiments on competitive
programming benchmarks, we reveal that while LLMs can form a self-consistent
system across these dimensions, their solutions often lack the diversity and
robustness of human programmers. We identify a significant distribution shift
between model cognition and human expertise, with model errors tending to
cluster due to training data biases and limited reasoning transfer. Our study
demonstrates that incorporating human-generated editorials, solutions, and
diverse test cases, as well as leveraging model mixtures, can substantially
enhance both the performance and robustness of LLMs. Furthermore, we reveal
both the consistency and inconsistency in the cognition of LLMs that may
facilitate self-reflection and self-improvement, providing a potential
direction for developing more powerful coding models.