Обманывают ли нас агенты кодирования? Обнаружение и предотвращение мошенничества с помощью ограниченной оценки и рандомизированных тестов

Аннотация

Растущий вид сбоя в оценке и обучении агентов заключается в том, что модели могут достигать высоких оценочных баллов, используя сокращённые пути вместо решения поставленной задачи, что приводит к обманчивой производительности. Это делает оценочные баллы ненадёжными в качестве меры истинной способности решать задачи. Мы предлагаем CapCode — фреймворк для построения наборов данных по кодированию со случайными тестами, чья максимально достижимая честная производительность намеренно ограничена ниже единицы. Такой дизайн с ограничением производительности даёт более ясную интерпретацию оценочных баллов: баллы, значительно превышающие ограничение, маловероятны и, следовательно, свидетельствуют о мошенничестве. Для предотвращения мошенничества мы предлагаем CapReward — дизайн вознаграждения, основанный на принципе CapCode, который препятствует оптимизации сверх ограничения. Эксперименты на нескольких наборах данных показывают, что CapCode выявляет мошенничество, сохраняя при этом ранжирование моделей по производительности, а CapReward снижает мошенническое поведение, приводя к моделям, которые лучше следуют заданной спецификации задачи.

English

A growing failure mode in agent evaluation and training is that models can achieve high evaluation scores by exploiting shortcuts instead of solving the intended task, producing deceptive performance. This makes evaluation scores unreliable as measures of true task-solving ability. We propose CapCode, a framework for constructing coding datasets with randomized tests whose best achievable non-cheating performance is deliberately capped below one. This capped-performance design gives evaluation scores a clearer interpretation: scores substantially above the cap are implausible and therefore provide evidence of cheating. To prevent cheating, we propose CapReward, a reward design based on the CapCode principle to discourage optimization beyond the cap. Experiments across multiple datasets show that CapCode detects cheating while preserving performance ranking of models, and CapReward reduces cheating behavior, yielding models that better follow the intended task specification.