Seguro, ou Simplesmente Incapaz? Repensando a Avaliação de Segurança para Agentes de Uso de Telefone

Resumo

Quando um agente de uso de telefone evita danos, isso demonstra segurança ou simplesmente incapacidade de agir? Avaliações existentes frequentemente não conseguem distinguir. Um resultado prejudicial pode ser evitado porque o agente reconheceu o risco e escolheu a ação segura, ou porque ele falhou em compreender a tela ou executar qualquer ação relevante. Esses casos têm causas diferentes e exigem correções distintas, mas os referenciais atuais frequentemente os agrupam sob o sucesso da tarefa, recusa ou resultado prejudicial final. Abordamos esse problema com o PhoneSafety, um referencial de 700 momentos críticos de segurança extraídos de interações reais com telefones em mais de 130 aplicativos. Cada instância isola a próxima decisão em um momento de risco e faz uma pergunta simples: o modelo toma a ação segura, toma a ação insegura ou falha em fazer algo útil? Avaliamos oito agentes representativos de uso de telefone sob essa estrutura. Nossos resultados revelam dois padrões principais. Primeiro, uma capacidade geral mais forte de uso de telefone não implica de forma confiável escolhas mais seguras em momentos de risco. Modelos que têm melhor desempenho em tarefas comuns de aplicativos nem sempre são aqueles que se comportam de maneira mais segura quando a próxima ação é importante. Segundo, as falhas em fazer algo útil se comportam mais como um sinal de capacidade do que como um sinal de segurança: concentram-se em cenários visual e operacionalmente mais exigentes e permanecem estáveis quando o protocolo de avaliação muda. Entre os modelos, as falhas se dividem em dois padrões recorrentes: escolhas inseguras em situações em que o modelo pode agir, mas escolhe erradamente, e incapacidade de agir em telas visual e operacionalmente mais exigentes. Em suma, um resultado inofensivo não é suficiente para contar como evidência de segurança. Avaliar agentes de uso de telefone requer separar o julgamento inseguro da incapacidade de agir.

English

When a phone-use agent avoids harm, does that show safety, or simply inability to act? Existing evaluations often cannot tell. A harmful outcome may be avoided because the agent recognized the risk and chose the safe action, or because it failed to understand the screen or execute any relevant action at all. These cases have different causes and call for different fixes, yet current benchmarks often merge them under task success, refusal, or final harmful outcome. We address this problem with PhoneSafety, a benchmark of 700 safety-critical moments drawn from real phone interactions across more than 130 apps. Each instance isolates the next decision at a risky moment and asks a simple question: does the model take the safe action, take the unsafe action, or fail to do anything useful? We evaluate eight representative phone-use agents under this framework. Our results reveal two main patterns. First, stronger general phone-use ability does not reliably imply safer choices at risky moments. Models that perform better on ordinary app tasks are not always the ones that behave more safely when the next action matters. Second, failures to do anything useful behave like a capability signal rather than a safety signal: they are concentrated in more visually and operationally demanding settings and remain stable when the evaluation protocol changes. Across models, failures split into two recurring patterns: unsafe choices in settings where the model can act but chooses wrongly, and inability to act in more visually and operationally demanding screens. Overall, a harmless outcome is not enough to count as evidence of safety. Evaluating phone-use agents requires separating unsafe judgment from inability to act.