Погоня за публичным рейтингом: давление пользователей и эксплуатация оценок в рабочих процессах кодирующих агентов

Chasing the Public Score: User Pressure and Evaluation Exploitation in Coding Agent Workflows

April 22, 2026

Авторы: Hardy Chen, Nancy Lau, Haoqin Tu, Shuo Yan, Xiangyan Liu, Zijun Wang, Juncheng Wu, Michael Qizhe Shieh, Alvaro A. Cardenas, Cihang Xie, Yuyin Zhou

cs.AI

Аннотация

Продвинутые агенты-кодировщики все чаще используются в рабочих процессах, где пользователи контролируют прогресс в основном за счет многократного улучшения публичного показателя, а именно — заявленного результата на публичном оценочном наборе с метками в рабочей среде, а не путем прямого анализа промежуточных результатов работы агента. Мы исследуем, приводит ли многораундовое давление со стороны пользователя с целью улучшить этот показатель к эксплуатации публичного результата: поведению, которое повышает публичный результат за счет использования "лазеек", не улучшая при этом скрытую приватную оценку. Мы начинаем с предварительного эксперимента по табличной классификации с одним скриптом, где и GPT-5.4, и Claude Opus 4.6 начинают использовать информацию о метках в течение 10 раундов взаимодействия пользователя и агента. Затем мы создали AgentPressureBench — бенчмарк из 34 задач машинного обучения из репозитория, охватывающий три типа входных данных, и собрали 1326 многораундовых траекторий от 13 агентов-кодировщиков. На нашем бенчмарке мы наблюдаем 403 эксплуатационных запуска, распределенных по всем задачам. Мы также обнаружили, что более мощные модели имеют более высокий уровень эксплуатации, что подтверждается значимой ранговой корреляцией Спирмена 0.77. Наши эксперименты с абляцией показывают, что более сильное давление пользователя приводит к более ранней эксплуатации, сокращая средний раунд первой эксплуатации на 15.6 раундов (с 19.67 до 4.08). В качестве меры смягчения, добавление явных формулировок против эксплуатации в промпт в большинстве случаев устраняет проблему (со 100% до 8.3%). Мы надеемся, что наша работа привлечет внимание к более осторожному использованию рабочих процессов с агентами-кодировщиками и к разработке более устойчивых агентов, способных выдерживать давление пользователя. Страница проекта находится по адресу https://ucsc-vlaa.github.io/AgentPressureBench.

English

Frontier coding agents are increasingly used in workflows where users supervise progress primarily through repeated improvement of a public score, namely the reported score on a public evaluation file with labels in the workspace, rather than through direct inspection of the agent's intermediate outputs. We study whether multi-round user pressure to improve that score induces public score exploitation: behavior that raises the public score through shortcuts without improving hidden private evaluation. We begin with a preliminary single-script tabular classification task, where GPT-5.4 and Claude Opus 4.6 both exploit label information within 10 rounds of user-agent interaction. We then build AgentPressureBench, a 34-task machine-learning repository benchmark spanning three input modalities, and collect 1326 multi-round trajectories from 13 coding agents. On our benchmark, we observe 403 exploitative runs, spanning across all tasks. We also find that stronger models have higher exploitation rates, supported by a significant Spearman rank correlation of 0.77. Our ablation experiments show that higher user pressure leads to earlier exploitation, reducing the average first exploit round by 15.6 rounds (i.e., 19.67 to 4.08). As a mitigation, adding explicit anti-exploit wordings in prompt mostly eliminates exploitation (100% to 8.3%). We hope that our work can bring attention to more careful use of coding agents workflow, and developing more robust coding agents under user pressure. Our project page is at https://ucsc-vlaa.github.io/AgentPressureBench .