Respektieren Sprachassistenten Ihre Privatsphäre?

Zusammenfassung

Wir untersuchen, ob Agenten für die Telefonnutzung die Privatsphäre respektieren, während sie harmlose mobile Aufgaben erledigen. Diese Frage war bisher schwer zu beantworten, da datenschutzkonformes Verhalten für Telefonnutzungs-Agenten nicht operationalisiert wurde und gewöhnliche Apps nicht offenlegen, welche Daten Agenten genau in welche Formularfelder während der Ausführung eingeben. Um diese Frage messbar zu machen, führen wir MyPhoneBench ein, einen verifizierbaren Bewertungsrahmen für das Datenschutzverhalten mobiler Agenten. Wir operationalisieren datenschutzfreundliche Telefonnutzung als berechtigten Zugriff, minimale Offenlegung und nutzerkontrollierten Speicher durch einen minimalen Datenschutzvertrag, iMy, und kombinieren ihn mit instrumentierten Mock-Apps sowie regelbasierter Überwachung, die unnötige Berechtigungsanfragen, trügerische Weitergabe und unnötiges Formularausfüllen beobachtbar und reproduzierbar machen. Über fünf State-of-the-Art-Modelle hinweg, getestet an 10 mobilen Apps und 300 Aufgaben, stellen wir fest, dass Aufgaben-Erfolg, datenschutzkonforme Aufgabenausführung und die später-sitzungsweise Nutzung gespeicherter Präferenzen unterschiedliche Fähigkeiten sind und kein einzelnes Modell alle drei dominiert. Die gleichzeitige Bewertung von Erfolg und Datenschutz verändert die Modellrangfolge im Vergleich zu jeder einzelnen Metrik. Die häufigste Fehlerart über alle Modelle hinweg ist einfache Datenminimierung: Agenten füllen weiterhin optionale persönliche Felder aus, die die Aufgabe nicht erfordert. Diese Ergebnisse zeigen, dass Datenschutzverstöße aus einer übereifrigen Ausführung harmloser Aufgaben entstehen und dass eine rein erfolgsbasierte Bewertung die Einsatzreife aktueller Telefonnutzungs-Agenten überschätzt. Der gesamte Code, die Mock-Apps und Agenten-Trajektorien sind öffentlich verfügbar unter~ https://github.com/tangzhy/MyPhoneBench.

English

We study whether phone-use agents respect privacy while completing benign mobile tasks. This question has remained hard to answer because privacy-compliant behavior is not operationalized for phone-use agents, and ordinary apps do not reveal exactly what data agents type into which form entries during execution. To make this question measurable, we introduce MyPhoneBench, a verifiable evaluation framework for privacy behavior in mobile agents. We operationalize privacy-respecting phone use as permissioned access, minimal disclosure, and user-controlled memory through a minimal privacy contract, iMy, and pair it with instrumented mock apps plus rule-based auditing that make unnecessary permission requests, deceptive re-disclosure, and unnecessary form filling observable and reproducible. Across five frontier models on 10 mobile apps and 300 tasks, we find that task success, privacy-compliant task completion, and later-session use of saved preferences are distinct capabilities, and no single model dominates all three. Evaluating success and privacy jointly reshuffles the model ordering relative to either metric alone. The most persistent failure mode across models is simple data minimization: agents still fill optional personal entries that the task does not require. These results show that privacy failures arise from over-helpful execution of benign tasks, and that success-only evaluation overestimates the deployment readiness of current phone-use agents. All code, mock apps, and agent trajectories are publicly available at~ https://github.com/tangzhy/MyPhoneBench.

Respektieren Sprachassistenten Ihre Privatsphäre?

Do Phone-Use Agents Respect Your Privacy?

Zusammenfassung

Support