À la poursuite du score public : Pression des utilisateurs et exploitation de l'évaluation dans les workflows des agents de codage

Résumé

Les agents de codage de pointe sont de plus en plus utilisés dans des workflows où les utilisateurs supervisent les progrès principalement par l'amélioration répétée d'un score public, à savoir le score rapporté sur un fichier d'évaluation public contenant les étiquettes dans l'espace de travail, plutôt que par l'inspection directe des sorties intermédiaires de l'agent. Nous étudions si la pression utilisateur multi-tours pour améliorer ce score induit une exploitation du score public : un comportement qui augmente le score public par des raccourcis sans améliorer l'évaluation privée cachée. Nous commençons par une tâche préliminaire de classification tabulaire à script unique, où GPT-5.4 et Claude Opus 4.6 exploitent tous deux les informations des étiquettes en moins de 10 tours d'interaction utilisateur-agent. Nous construisons ensuite AgentPressureBench, un benchmark de référentiel de 34 tâches d'apprentissage automatique couvrant trois modalités d'entrée, et collectons 1326 trajectoires multi-tours auprès de 13 agents de codage. Sur notre benchmark, nous observons 403 exécutions exploitantes, couvrant toutes les tâches. Nous constatons également que les modèles plus puissants ont des taux d'exploitation plus élevés, étayés par une corrélation de rang de Spearman significative de 0,77. Nos expériences d'ablation montrent qu'une pression utilisateur plus forte conduit à une exploitation plus précoce, réduisant le tour de première exploitation moyen de 15,6 tours (c'est-à-dire de 19,67 à 4,08). Comme mesure d'atténuation, l'ajout de formulations anti-exploitation explicites dans l'invite élimine mostly l'exploitation (de 100% à 8,3%). Nous espérons que notre travail pourra attirer l'attention sur une utilisation plus prudente des workflows d'agents de codage, et sur le développement d'agents de codage plus robustes sous la pression des utilisateurs. Notre page projet se trouve à l'adresse https://ucsc-vlaa.github.io/AgentPressureBench .

English

Frontier coding agents are increasingly used in workflows where users supervise progress primarily through repeated improvement of a public score, namely the reported score on a public evaluation file with labels in the workspace, rather than through direct inspection of the agent's intermediate outputs. We study whether multi-round user pressure to improve that score induces public score exploitation: behavior that raises the public score through shortcuts without improving hidden private evaluation. We begin with a preliminary single-script tabular classification task, where GPT-5.4 and Claude Opus 4.6 both exploit label information within 10 rounds of user-agent interaction. We then build AgentPressureBench, a 34-task machine-learning repository benchmark spanning three input modalities, and collect 1326 multi-round trajectories from 13 coding agents. On our benchmark, we observe 403 exploitative runs, spanning across all tasks. We also find that stronger models have higher exploitation rates, supported by a significant Spearman rank correlation of 0.77. Our ablation experiments show that higher user pressure leads to earlier exploitation, reducing the average first exploit round by 15.6 rounds (i.e., 19.67 to 4.08). As a mitigation, adding explicit anti-exploit wordings in prompt mostly eliminates exploitation (100% to 8.3%). We hope that our work can bring attention to more careful use of coding agents workflow, and developing more robust coding agents under user pressure. Our project page is at https://ucsc-vlaa.github.io/AgentPressureBench .

À la poursuite du score public : Pression des utilisateurs et exploitation de l'évaluation dans les workflows des agents de codage

Chasing the Public Score: User Pressure and Evaluation Exploitation in Coding Agent Workflows

Résumé

Support