Wenn geringere Privilegien ausreichen: Untersuchung der überprivilegierten Tool-Auswahl bei LLM-Agenten

Zusammenfassung

Da LLM-Agenten zunehmend autonom Werkzeuge auswählen, werden ihre Entscheidungen zwischen Werkzeugen mit unterschiedlichen Privilegien sicherheitsrelevant. Bisherige Studien zur Werkzeugauswahl konzentrieren sich jedoch auf sicherheitsunabhängige Metadaten-Präferenzen und lassen privilegiensensible Entscheidungen untererforscht. Um diese Lücke zu schließen, untersuchen wir die überprivilegierte Werkzeugauswahl, bei der ein Agent trotz einer ausreichenden Alternative mit niedrigeren Privilegien ein Werkzeug mit höheren Privilegien wählt oder auf ein solches eskaliert. Wir führen ToolPrivBench ein, um zu bewerten, ob Agenten Werkzeuge mit höheren Privilegien wählen, obwohl ausreichende Alternativen mit niedrigeren Privilegien existieren – gemessen sowohl an der anfänglichen Auswahl als auch an der Eskalation nach vorübergehenden Werkzeugfehlern. Über acht Domänen und fünf wiederkehrende Risikomuster hinweg stellen wir fest, dass überprivilegierte Werkzeugauswahl bei gängigen LLM-Agenten weit verbreitet ist und durch vorübergehende Fehler weiter verstärkt wird. Wir zeigen zudem, dass eine allgemeine Sicherheitsausrichtung nicht zuverlässig auf die Auswahl von Werkzeugen mit geringsten Privilegien übertragbar ist, während Steuerungen auf Prompt-Ebene bei vorübergehenden Fehlern nur eine begrenzte Abschwächung bieten. Daher führen wir eine privilegienbewusste Nachtrainings-Abwehr ein, die Agenten lehrt, ausreichende Werkzeuge mit niedrigeren Privilegien zu bevorzugen und nur bei Bedarf zu eskalieren. Unsere Abschwächungsexperimente zeigen, dass diese Abwehr die unnötige Nutzung hochprivilegierter Werkzeuge erheblich reduziert, während allgemeine Fähigkeiten erhalten bleiben.

English

As LLM agents increasingly select tools autonomously, their choices among tools with different privileges become safety-relevant. However, prior tool-selection studies focus on safety-agnostic metadata preferences, leaving privilege-sensitive choices underexplored. To address this gap, we study over-privileged tool selection, in which an agent selects or escalates to a higher-privilege tool despite a sufficient lower-privilege alternative. We introduce ToolPrivBench to evaluate whether agents choose higher-privilege tools despite sufficient lower-privilege alternatives, measuring both initial selection and escalation after transient tool failures. Across eight domains and five recurring risk patterns, we find that over-privileged tool selection is common among mainstream LLM agents and is further amplified by transient failures. We further find that general safety alignment does not reliably transfer to least-privilege tool choice, while prompt-level controls provide only limited mitigation under transient failures. We therefore introduce a privilege-aware post-training defense that teaches agents to prefer sufficient lower-privilege tools and escalate only when necessary. Our mitigation experiments show that this defense substantially reduces unnecessary high-privilege tool use while preserving general capabilities.