LONGCODEU: Evaluación de Modelos de Lenguaje de Contexto Largo en la Comprensión de Código Extenso

LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding

March 6, 2025

Autores: Jia Li, Xuyuan Guo, Lei Li, Kechi Zhang, Ge Li, Jia Li, Zhengwei Tao, Fang Liu, Chongyang Tao, Yuqi Zhu, Zhi Jin

cs.AI

Resumen

Los modelos de lenguaje avanzados de contexto largo actuales ofrecen un gran potencial para aplicaciones prácticas en ingeniería de software. Sin embargo, el progreso en este dominio crítico sigue obstaculizado por una limitación fundamental: la ausencia de un marco de evaluación riguroso para la comprensión de código largo. Para superar este obstáculo, proponemos un punto de referencia para la comprensión de código largo, LONGCODEU, que evalúa la capacidad de los modelos de lenguaje de contexto largo (LCLM) en cuatro aspectos (8 tareas) necesarios para aplicaciones prácticas, incluyendo la percepción de unidades de código, la comprensión intra-unidad de código, la comprensión de relaciones inter-unidades de código y la comprensión de documentación de código largo. Evaluamos 9 LCLM populares en LONGCODEU (es decir, 6 modelos generales y 3 modelos específicos de código). Nuestros resultados experimentales revelan limitaciones clave en las capacidades actuales de los LCLM para la comprensión de código largo. En particular, el rendimiento de los LCLM disminuye drásticamente cuando la longitud del código largo supera las 32K, quedando muy por debajo de sus ventanas de contexto declaradas de 128K-1M. Entre los cuatro aspectos, la comprensión de relaciones inter-unidades de código es la más desafiante para los LCLM. Nuestro estudio proporciona insights valiosos para optimizar los LCLM e impulsar avances en la ingeniería de software.

English

Current advanced long-context language models offer great potential for real-world software engineering applications. However, progress in this critical domain remains hampered by a fundamental limitation: the absence of a rigorous evaluation framework for long code understanding. To gap this obstacle, we propose a long code understanding benchmark LONGCODEU from four aspects (8 tasks) to evaluate LCLMs' long code understanding ability required for practical applications, including code unit perception, intra-code unit understanding, inter-code unit relation understanding, and long code documentation understanding. We evaluate 9 popular LCLMs on LONGCODEU (i.e., 6 general models and 3 code models). Our experimental results reveal key limitations in current LCLMs' capabilities for long code understanding. Particularly, the performance of LCLMs drops dramatically when the long code length is greater than 32K, falling far short of their claimed 128K-1M context windows. In the four aspects, inter-code unit relation understanding is the most challenging for LCLMs. Our study provides valuable insights for optimizing LCLMs and driving advancements in software engineering.