Треугольник кодирования: как большая языковая модель понимает код?

Coding Triangle: How Does Large Language Model Understand Code?

July 8, 2025

Авторы: Taolin Zhang, Zihan Ma, Maosong Cao, Junnan Liu, Songyang Zhang, Kai Chen

cs.AI

Аннотация

Крупные языковые модели (LLM) достигли значительных успехов в генерации кода, однако их истинная компетентность в программировании остается недостаточно изученной. Мы представляем фреймворк Code Triangle, который систематически оценивает LLM по трем фундаментальным измерениям: редакционный анализ, реализация кода и генерация тестовых случаев. Проведя обширные эксперименты на базе соревновательных программных тестов, мы обнаружили, что, хотя LLM способны формировать самосогласованную систему в рамках этих измерений, их решения часто уступают по разнообразию и устойчивости решениям, созданным человеком. Мы выявили значительный сдвиг в распределении между когнитивными способностями моделей и экспертизой человека, причем ошибки моделей имеют тенденцию к кластеризации из-за смещений в обучающих данных и ограниченного переноса логических рассуждений. Наше исследование демонстрирует, что включение редакционных материалов, решений и разнообразных тестовых случаев, созданных человеком, а также использование смесей моделей могут существенно повысить как производительность, так и устойчивость LLM. Кроме того, мы выявляем как согласованность, так и несогласованность в когнитивных процессах LLM, что может способствовать саморефлексии и самосовершенствованию, предоставляя потенциальное направление для разработки более мощных моделей генерации кода.

English

Large language models (LLMs) have achieved remarkable progress in code generation, yet their true programming competence remains underexplored. We introduce the Code Triangle framework, which systematically evaluates LLMs across three fundamental dimensions: editorial analysis, code implementation, and test case generation. Through extensive experiments on competitive programming benchmarks, we reveal that while LLMs can form a self-consistent system across these dimensions, their solutions often lack the diversity and robustness of human programmers. We identify a significant distribution shift between model cognition and human expertise, with model errors tending to cluster due to training data biases and limited reasoning transfer. Our study demonstrates that incorporating human-generated editorials, solutions, and diverse test cases, as well as leveraging model mixtures, can substantially enhance both the performance and robustness of LLMs. Furthermore, we reveal both the consistency and inconsistency in the cognition of LLMs that may facilitate self-reflection and self-improvement, providing a potential direction for developing more powerful coding models.