Veilig of simpelweg onbekwaam? Heroverweging van veiligheidsevaluatie voor telefoongebruikagenten

Samenvatting

Wanneer een telefoongebruikagent schade voorkomt, toont dat dan veiligheid, of slechts een onvermogen om te handelen? Bestaande evaluaties kunnen dat vaak niet onderscheiden. Een schadelijke uitkomst kan worden vermeden omdat de agent het risico herkende en de veilige actie koos, of omdat hij het scherm niet begreep of geen enkele relevante actie kon uitvoeren. Deze gevallen hebben verschillende oorzaken en vragen om verschillende oplossingen, maar huidige benchmarks voegen ze vaak samen onder taaksucces, weigering of de uiteindelijke schadelijke uitkomst. Wij pakken dit probleem aan met PhoneSafety, een benchmark van 700 veiligheidscruciale momenten afkomstig uit echte telefooninteracties met meer dan 130 apps. Elk voorval isoleert de volgende beslissing op een riskant moment en stelt een eenvoudige vraag: neemt het model de veilige actie, de onveilige actie, of faalt het om iets nuttigs te doen? We evalueren acht representatieve telefoongebruikagenten onder dit raamwerk. Onze resultaten tonen twee hoofdpatronen. Ten eerste impliceert een sterker algemeen telefoongebruikvermogen niet betrouwbaar veiligere keuzes op riskante momenten. Modellen die beter presteren op gewone app-taken zijn niet altijd degenen die zich veiliger gedragen wanneer de volgende actie er toe doet. Ten tweede gedragen fouten waarbij niets nuttigs wordt gedaan zich als een capaciteitssignaal in plaats van een veiligheidssignaal: ze zijn geconcentreerd in visueel en operationeel veeleisendere omgevingen en blijven stabiel wanneer het evaluatieprotocol verandert. Over de modellen heen vallen de fouten uiteen in twee terugkerende patronen: onveilige keuzes in situaties waarin het model kan handelen maar verkeerd kiest, en onvermogen om te handelen in visueel en operationeel veeleisendere schermen. Kortom, een onschadelijke uitkomst is niet voldoende als bewijs van veiligheid. Het evalueren van telefoongebruikagenten vereist het scheiden van onveilige oordelen van het onvermogen om te handelen.

English

When a phone-use agent avoids harm, does that show safety, or simply inability to act? Existing evaluations often cannot tell. A harmful outcome may be avoided because the agent recognized the risk and chose the safe action, or because it failed to understand the screen or execute any relevant action at all. These cases have different causes and call for different fixes, yet current benchmarks often merge them under task success, refusal, or final harmful outcome. We address this problem with PhoneSafety, a benchmark of 700 safety-critical moments drawn from real phone interactions across more than 130 apps. Each instance isolates the next decision at a risky moment and asks a simple question: does the model take the safe action, take the unsafe action, or fail to do anything useful? We evaluate eight representative phone-use agents under this framework. Our results reveal two main patterns. First, stronger general phone-use ability does not reliably imply safer choices at risky moments. Models that perform better on ordinary app tasks are not always the ones that behave more safely when the next action matters. Second, failures to do anything useful behave like a capability signal rather than a safety signal: they are concentrated in more visually and operationally demanding settings and remain stable when the evaluation protocol changes. Across models, failures split into two recurring patterns: unsafe choices in settings where the model can act but chooses wrongly, and inability to act in more visually and operationally demanding screens. Overall, a harmless outcome is not enough to count as evidence of safety. Evaluating phone-use agents requires separating unsafe judgment from inability to act.