LONGCODEU: Valutazione dei Modelli Linguistici a Lungo Contesto sulla Comprensione di Codice Esteso

Abstract

Gli attuali modelli linguistici avanzati a contesto lungo offrono un grande potenziale per applicazioni pratiche nell'ingegneria del software. Tuttavia, i progressi in questo dominio critico rimangono ostacolati da una limitazione fondamentale: l'assenza di un framework di valutazione rigoroso per la comprensione del codice lungo. Per colmare questa lacuna, proponiamo un benchmark di comprensione del codice lungo, LONGCODEU, che valuta la capacità di comprensione del codice lungo richiesta per applicazioni pratiche da quattro aspetti (8 task), tra cui la percezione delle unità di codice, la comprensione interna delle unità di codice, la comprensione delle relazioni tra unità di codice e la comprensione della documentazione del codice lungo. Valutiamo 9 popolari modelli a contesto lungo (LCLM) su LONGCODEU (ovvero 6 modelli generali e 3 modelli specifici per il codice). I nostri risultati sperimentali rivelano limitazioni chiave nelle capacità attuali dei LCLM per la comprensione del codice lungo. In particolare, le prestazioni dei LCLM diminuiscono drasticamente quando la lunghezza del codice supera i 32K, risultando ben al di sotto delle finestre di contesto dichiarate di 128K-1M. Tra i quattro aspetti, la comprensione delle relazioni tra unità di codice è la più impegnativa per i LCLM. Il nostro studio fornisce spunti preziosi per ottimizzare i LCLM e favorire progressi nell'ingegneria del software.

English

Current advanced long-context language models offer great potential for real-world software engineering applications. However, progress in this critical domain remains hampered by a fundamental limitation: the absence of a rigorous evaluation framework for long code understanding. To gap this obstacle, we propose a long code understanding benchmark LONGCODEU from four aspects (8 tasks) to evaluate LCLMs' long code understanding ability required for practical applications, including code unit perception, intra-code unit understanding, inter-code unit relation understanding, and long code documentation understanding. We evaluate 9 popular LCLMs on LONGCODEU (i.e., 6 general models and 3 code models). Our experimental results reveal key limitations in current LCLMs' capabilities for long code understanding. Particularly, the performance of LCLMs drops dramatically when the long code length is greater than 32K, falling far short of their claimed 128K-1M context windows. In the four aspects, inter-code unit relation understanding is the most challenging for LCLMs. Our study provides valuable insights for optimizing LCLMs and driving advancements in software engineering.

LONGCODEU: Valutazione dei Modelli Linguistici a Lungo Contesto sulla Comprensione di Codice Esteso

LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding

Abstract

Support