LONGCODEU: Оценка языковых моделей с длинным контекстом на понимании длинного кода

LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding

March 6, 2025

Авторы: Jia Li, Xuyuan Guo, Lei Li, Kechi Zhang, Ge Li, Jia Li, Zhengwei Tao, Fang Liu, Chongyang Tao, Yuqi Zhu, Zhi Jin

cs.AI

Аннотация

Современные продвинутые языковые модели с длинным контекстом (LCLM) предлагают значительный потенциал для применения в реальных задачах программной инженерии. Однако прогресс в этой важной области по-прежнему сдерживается фундаментальным ограничением: отсутствием строгой системы оценки для понимания длинного кода. Чтобы преодолеть это препятствие, мы предлагаем эталонный тест LONGCODEU для оценки способности LCLM понимать длинный код, необходимый для практических применений. Этот тест охватывает четыре аспекта (8 задач), включая восприятие единиц кода, понимание внутри единиц кода, понимание взаимосвязей между единицами кода и понимание документации длинного кода. Мы оценили 9 популярных LCLM (6 общих моделей и 3 специализированных для кода) на тесте LONGCODEU. Результаты экспериментов выявили ключевые ограничения в способностях современных LCLM к пониманию длинного кода. В частности, производительность LCLM резко снижается, когда длина кода превышает 32K, что значительно ниже заявленных окон контекста в 128K-1M. Среди четырех аспектов понимание взаимосвязей между единицами кода оказалось наиболее сложным для LCLM. Наше исследование предоставляет ценные инсайты для оптимизации LCLM и стимулирования прогресса в программной инженерии.

English

Current advanced long-context language models offer great potential for real-world software engineering applications. However, progress in this critical domain remains hampered by a fundamental limitation: the absence of a rigorous evaluation framework for long code understanding. To gap this obstacle, we propose a long code understanding benchmark LONGCODEU from four aspects (8 tasks) to evaluate LCLMs' long code understanding ability required for practical applications, including code unit perception, intra-code unit understanding, inter-code unit relation understanding, and long code documentation understanding. We evaluate 9 popular LCLMs on LONGCODEU (i.e., 6 general models and 3 code models). Our experimental results reveal key limitations in current LCLMs' capabilities for long code understanding. Particularly, the performance of LCLMs drops dramatically when the long code length is greater than 32K, falling far short of their claimed 128K-1M context windows. In the four aspects, inter-code unit relation understanding is the most challenging for LCLMs. Our study provides valuable insights for optimizing LCLMs and driving advancements in software engineering.