Lorsque des privilèges moindres suffisent : enquête sur la sélection d'outils sur-privilégiés dans les agents LLM

Résumé

Alors que les agents LLM sélectionnent de plus en plus d'outils de manière autonome, leurs choix entre des outils dotés de privilèges différents deviennent pertinents pour la sécurité. Cependant, les études antérieures sur la sélection d'outils se concentrent sur des préférences de métadonnées indépendantes de la sécurité, laissant les choix sensibles aux privilèges insuffisamment explorés. Pour combler cette lacune, nous étudions la sélection d'outils sur-privilégiés, dans laquelle un agent sélectionne ou escalade vers un outil à privilège plus élevé malgré une alternative à privilège inférieur suffisante. Nous introduisons ToolPrivBench pour évaluer si les agents choisissent des outils à privilège plus élevé malgré des alternatives à privilège inférieur suffisantes, en mesurant à la fois la sélection initiale et l'escalade après des défaillances transitoires d'outils. Dans huit domaines et cinq schémas de risque récurrents, nous constatons que la sélection d'outils sur-privilégiés est courante parmi les agents LLM courants et est encore amplifiée par des défaillances transitoires. Nous constatons en outre que l'alignement général en matière de sécurité ne se transfère pas de manière fiable au choix d'outils à moindre privilège, tandis que les contrôles au niveau des invites ne fournissent qu'une atténuation limitée en cas de défaillances transitoires. Nous introduisons donc une défense post-entraînement sensible aux privilèges qui apprend aux agents à préférer les outils à privilège inférieur suffisants et à n'escalader qu'en cas de nécessité. Nos expériences d'atténuation montrent que cette défense réduit considérablement l'utilisation inutile d'outils à privilège élevé tout en préservant les capacités générales.

English

As LLM agents increasingly select tools autonomously, their choices among tools with different privileges become safety-relevant. However, prior tool-selection studies focus on safety-agnostic metadata preferences, leaving privilege-sensitive choices underexplored. To address this gap, we study over-privileged tool selection, in which an agent selects or escalates to a higher-privilege tool despite a sufficient lower-privilege alternative. We introduce ToolPrivBench to evaluate whether agents choose higher-privilege tools despite sufficient lower-privilege alternatives, measuring both initial selection and escalation after transient tool failures. Across eight domains and five recurring risk patterns, we find that over-privileged tool selection is common among mainstream LLM agents and is further amplified by transient failures. We further find that general safety alignment does not reliably transfer to least-privilege tool choice, while prompt-level controls provide only limited mitigation under transient failures. We therefore introduce a privilege-aware post-training defense that teaches agents to prefer sufficient lower-privilege tools and escalate only when necessary. Our mitigation experiments show that this defense substantially reduces unnecessary high-privilege tool use while preserving general capabilities.