BigO(Bench) — Способны ли языковые модели генерировать код с контролируемой временной и пространственной сложностью?

BigO(Bench) -- Can LLMs Generate Code with Controlled Time and Space Complexity?

March 19, 2025

Авторы: Pierre Chambon, Baptiste Roziere, Benoit Sagot, Gabriel Synnaeve

cs.AI

Аннотация

Мы представляем BigO(Bench) — новый бенчмарк для оценки способностей генеративных языковых моделей понимать и генерировать код с заданными временными и пространственными сложностями. Этот бенчмарк устраняет пробел в текущих методах оценки, которые часто упускают из виду способность моделей понимать и создавать код, ограниченный вычислительной сложностью. BigO(Bench) включает инструменты для вывода алгоритмической сложности любой функции на Python на основе профилировочных измерений, включая решения, созданные человеком или языковыми моделями. BigO(Bench) также содержит набор из 3 105 задач по программированию и 1 190 250 решений из соревнований по программированию, аннотированных с использованием выведенных (синтетических) меток временной и пространственной сложности из фреймворка сложности, а также соответствующих значений времени выполнения и использования памяти для большого набора размеров входных данных. Мы представляем результаты оценки нескольких современных языковых моделей на этом бенчмарке, выделяя их сильные и слабые стороны в работе с требованиями сложности. В частности, модели, основанные на рассуждениях в пространстве токенов, непревзойденны в генерации кода, но не в понимании сложности, что указывает на их возможную ограниченность в задачах, для которых во время обучения не было предусмотрено вознаграждения.

English

We introduce BigO(Bench), a novel coding benchmark designed to evaluate the capabilities of generative language models in understanding and generating code with specified time and space complexities. This benchmark addresses the gap in current evaluations that often overlook the ability of models to comprehend and produce code constrained by computational complexity. BigO(Bench) includes tooling to infer the algorithmic complexity of any Python function from profiling measurements, including human- or LLM-generated solutions. BigO(Bench) also includes of set of 3,105 coding problems and 1,190,250 solutions from Code Contests annotated with inferred (synthetic) time and space complexity labels from the complexity framework, as well as corresponding runtime and memory footprint values for a large set of input sizes. We present results from evaluating multiple state-of-the-art language models on this benchmark, highlighting their strengths and weaknesses in handling complexity requirements. In particular, token-space reasoning models are unrivaled in code generation but not in complexity understanding, hinting that they may not generalize well to tasks for which no reward was given at training time.