Capazes, mas Descuidados: Os Agentes de Uso de Computador Seguem a Integridade Contextual?

Resumo

Agentes de uso de computador (CUAs) agora atuam em nome do usuário em aplicações pessoais como e-mail, calendários e listas de tarefas. Esse acesso entre aplicações é útil, mas também cria um risco de privacidade amplamente negligenciado: quando um agente opera em um contexto, ele pode extrair informações de outro contexto que sejam inadequadas para aquele contexto. Assim, apresentamos o AgentCIBench, uma estrutura de avaliação que transforma esse risco em cenários executáveis e pontuados de forma determinística. Focamos em três modos comuns de falha em CUAs: co-localização visual, onde o agente captura itens proibidos posicionados próximos ao alvo da tarefa na interface; compartilhamento excessivo por ambiguidade da tarefa, onde o agente despeja um estado pessoal denso em resposta a um comando subespecificado; e desalinhamento de destinatário, onde o agente envia conteúdo a um destinatário para o qual esse conteúdo é inadequado. Avaliamos 15 agentes de fronteira e encontramos uma taxa de falha surpreendentemente alta: 11 dos 15 agentes vazam informações em mais de 50% dos cenários, com um vazamento médio de 67,9%, e as mesmas falhas persistem quando os agentes atuam de ponta a ponta no ambiente para concluir a tarefa. Disponibilizamos o AgentCIBench para incentivar o desenvolvimento de agentes de uso de computador mais seguros e posicionamos o teste de divulgação contextual como uma verificação de segurança pré-implantação.

English

Computer-use agents (CUAs) now act on a user's behalf across personal applications such as email, calendars, and to-do lists. This cross-application access is useful, but it also creates a privacy risk that has been largely overlooked: when an agent works in one context, it can pull in information from another that is inappropriate in that context. Hence, we introduce AgentCIBench, an evaluation harness that turns this risk into executable, deterministically scored scenarios. We target three common failure modes in CUAs: visual co-location, where the agent pulls in prohibited items that sit next to the task target in the UI; task-ambiguity overshare, where the agent dumps dense personal state in response to an under-specified prompt; and recipient misalignment, where the agent sends content to an addressee for whom it is inappropriate. We evaluate 15 frontier agents and find a surprisingly high failure rate: 11 of 15 leak on more than 50% of scenarios, with an average leakage of 67.9%, and the same failures persist when agents act end-to-end in the environment to complete the task. We release AgentCIBench to encourage the development of safer computer-use agents and position contextual disclosure testing as a pre-deployment safety check.