LONGCODEU : Évaluation des modèles de langage à contexte long sur la compréhension de code long

LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding

March 6, 2025

Auteurs: Jia Li, Xuyuan Guo, Lei Li, Kechi Zhang, Ge Li, Jia Li, Zhengwei Tao, Fang Liu, Chongyang Tao, Yuqi Zhu, Zhi Jin

cs.AI

Résumé

Les modèles de langage à contexte long actuels offrent un grand potentiel pour les applications pratiques en génie logiciel. Cependant, les progrès dans ce domaine crucial restent entravés par une limitation fondamentale : l'absence d'un cadre d'évaluation rigoureux pour la compréhension de code long. Pour combler cette lacune, nous proposons un benchmark de compréhension de code long, LONGCODEU, évaluant quatre aspects (8 tâches) pour mesurer la capacité des modèles de langage à contexte long (LCLMs) à comprendre le code long nécessaire pour des applications pratiques, incluant la perception des unités de code, la compréhension intra-unité de code, la compréhension des relations inter-unités de code, et la compréhension de la documentation de code long. Nous évaluons 9 LCLMs populaires sur LONGCODEU (c'est-à-dire 6 modèles généraux et 3 modèles spécialisés en code). Nos résultats expérimentaux révèlent des limitations clés dans les capacités actuelles des LCLMs pour la compréhension de code long. En particulier, la performance des LCLMs chute considérablement lorsque la longueur du code dépasse 32K, bien en deçà de leurs fenêtres de contexte revendiquées de 128K à 1M. Parmi les quatre aspects, la compréhension des relations inter-unités de code est la plus difficile pour les LCLMs. Notre étude fournit des insights précieux pour optimiser les LCLMs et stimuler les avancées en génie logiciel.

English

Current advanced long-context language models offer great potential for real-world software engineering applications. However, progress in this critical domain remains hampered by a fundamental limitation: the absence of a rigorous evaluation framework for long code understanding. To gap this obstacle, we propose a long code understanding benchmark LONGCODEU from four aspects (8 tasks) to evaluate LCLMs' long code understanding ability required for practical applications, including code unit perception, intra-code unit understanding, inter-code unit relation understanding, and long code documentation understanding. We evaluate 9 popular LCLMs on LONGCODEU (i.e., 6 general models and 3 code models). Our experimental results reveal key limitations in current LCLMs' capabilities for long code understanding. Particularly, the performance of LCLMs drops dramatically when the long code length is greater than 32K, falling far short of their claimed 128K-1M context windows. In the four aspects, inter-code unit relation understanding is the most challenging for LCLMs. Our study provides valuable insights for optimizing LCLMs and driving advancements in software engineering.