FORTIS: Benchmarking de Privilégio Excessivo em Habilidades de Agentes

Resumo

Agentes baseados em grandes modelos de linguagem operam cada vez mais por meio de uma camada intermediária de habilidades que faz a mediação entre a intenção do usuário e a execução concreta de tarefas. Essa camada é amplamente tratada como uma abstração organizacional, mas argumentamos que ela também constitui um limite de privilégio que os modelos atuais rotineiramente excedem. Apresentamos o FORTIS, um benchmark que avalia o excesso de privilégio em habilidades de agentes em duas etapas: se o modelo seleciona a habilidade minimamente suficiente a partir de uma grande biblioteca sobreposta, e se executa essa habilidade sem expandir para ferramentas ou ações mais amplas do que a habilidade permite. Em dez modelos de fronteira e três domínios, constatamos que o comportamento com privilégio excessivo é a norma, e não a exceção. Os modelos consistentemente recorrem a habilidades e ferramentas de maior privilégio do que a tarefa exige, falhando em ambas as etapas em taxas que permanecem altas mesmo para os modelos mais robustos disponíveis. A falha é especialmente severa sob as condições ordinárias de interação real com o usuário: especificação incompleta, enquadramento de conveniência e proximidade dos limites das habilidades. Nenhum desses fatores requer construção adversarial. Os resultados indicam que a camada de habilidades, longe de conter o comportamento do agente, é ela própria uma fonte primária de escalada de privilégio nos sistemas atuais.

English

Large language model agents increasingly operate through an intermediate skill layer that mediates between user intent and concrete task execution. This layer is widely treated as an organizational abstraction, but we argue it is also a privilege boundary that current models routinely exceed. We present FORTIS, a benchmark that evaluates over-privilege in agent skills across two stages: whether a model selects the minimally sufficient skill from a large overlapping library, and whether it executes that skill without expanding into broader tools or actions than the skill permits. Across ten frontier models and three domains, we find that over-privileged behavior is the norm rather than the exception. Models consistently reach for higher-privilege skills and tools than the task requires, failing at both stages at rates that remain high even for the strongest available models. Failure is especially severe under the ordinary conditions of real user interaction: incomplete specification, convenience framing, and proximity to skill boundaries. None of these requires adversarial construction. The results indicate that the skill layer, far from containing agent behavior, is itself a primary source of privilege escalation in current systems.