LONGCODEU: Avaliação de Modelos de Linguagem de Contexto Longo na Compreensão de Códigos Longos

LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding

March 6, 2025

Autores: Jia Li, Xuyuan Guo, Lei Li, Kechi Zhang, Ge Li, Jia Li, Zhengwei Tao, Fang Liu, Chongyang Tao, Yuqi Zhu, Zhi Jin

cs.AI

Resumo

Os modelos avançados de linguagem de contexto longo atuais oferecem grande potencial para aplicações práticas de engenharia de software. No entanto, o progresso nesse domínio crítico continua sendo limitado por uma restrição fundamental: a ausência de um framework de avaliação rigoroso para o entendimento de código longo. Para superar esse obstáculo, propomos um benchmark de entendimento de código longo, chamado LONGCODEU, que avalia a capacidade de modelos de linguagem de contexto longo (LCLMs) em quatro aspectos (8 tarefas) essenciais para aplicações práticas, incluindo percepção de unidades de código, entendimento intra-unidade de código, entendimento de relações inter-unidades de código e entendimento de documentação de código longo. Avaliamos 9 LCLMs populares no LONGCODEU (ou seja, 6 modelos gerais e 3 modelos específicos para código). Nossos resultados experimentais revelam limitações significativas nas capacidades atuais dos LCLMs para o entendimento de código longo. Especificamente, o desempenho dos LCLMs cai drasticamente quando o comprimento do código longo excede 32K, ficando muito aquém das janelas de contexto de 128K-1M que eles afirmam suportar. Dentre os quatro aspectos, o entendimento de relações inter-unidades de código é o mais desafiador para os LCLMs. Nosso estudo fornece insights valiosos para a otimização de LCLMs e o avanço da engenharia de software.

English

Current advanced long-context language models offer great potential for real-world software engineering applications. However, progress in this critical domain remains hampered by a fundamental limitation: the absence of a rigorous evaluation framework for long code understanding. To gap this obstacle, we propose a long code understanding benchmark LONGCODEU from four aspects (8 tasks) to evaluate LCLMs' long code understanding ability required for practical applications, including code unit perception, intra-code unit understanding, inter-code unit relation understanding, and long code documentation understanding. We evaluate 9 popular LCLMs on LONGCODEU (i.e., 6 general models and 3 code models). Our experimental results reveal key limitations in current LCLMs' capabilities for long code understanding. Particularly, the performance of LCLMs drops dramatically when the long code length is greater than 32K, falling far short of their claimed 128K-1M context windows. In the four aspects, inter-code unit relation understanding is the most challenging for LCLMs. Our study provides valuable insights for optimizing LCLMs and driving advancements in software engineering.