Mobiele GUI-agent Privacy Personalisering met Trajectorie-gestuurde Preferentie-optimalisatie

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

April 13, 2026

Auteurs: Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu, Yuecong Min, Yue Yao

cs.AI

Samenvatting

Mobiele GUI-agenten, aangedreven door Multimodale Grote Taalmodellen (MLLM's), kunnen complexe taken uitvoeren op mobiele apparaten. Ondanks deze vooruitgang optimaliseren de meeste bestaande systemen nog steeds taaksucces of efficiëntie, waarbij gebruikersprivacy-personalisatie wordt verwaarloosd. In dit artikel bestuderen we het vaak over het hoofd geziene probleem van agentpersonalisatie. We observeren dat personalisatie systematische structurele heterogeniteit in uitvoeringstrajecten kan veroorzaken. Privacygerichte gebruikers prefereren bijvoorbeeld vaak beschermende acties, zoals het weigeren van toestemmingen, uitloggen en blootstelling minimaliseren, wat leidt tot logisch verschillende uitvoeringstrajecten dan gebruikers die op functionaliteit gericht zijn. Dergelijke trajecten met variabele lengte en structurele verschillen maken standaard voorkeursoptimalisatie instabiel en minder informatief. Om dit probleem aan te pakken, stellen we Trajectory Induced Preference Optimization (TIPO) voor, dat gebruikmaakt van voorkeursintensiteitsweging om cruciale privacygerelateerde stappen te benadrukken en opvulpoortjes om alignatieruis te onderdrukken. Resultaten op onze Privacy Preference Dataset tonen aan dat TIPO persona-alignatie en -onderscheid verbetert, terwijl sterke taakuitvoerbaarheid behouden blijft, met een SR van 65,60%, een Compliance van 46,22% en een PD van 66,67%, waarmee het bestaande optimalisatiemethoden overbrugt bij diverse GUI-taken. De code en dataset worden openbaar vrijgegeven op https://github.com/Zhixin-L/TIPO.

English

Mobile GUI agents powered by Multimodal Large Language Models (MLLMs) can execute complex tasks on mobile devices. Despite this progress, most existing systems still optimize task success or efficiency, neglecting users' privacy personalization. In this paper, we study the often-overlooked problem of agent personalization. We observe that personalization can induce systematic structural heterogeneity in execution trajectories. For example, privacy-first users often prefer protective actions, e.g., refusing permissions, logging out, and minimizing exposure, leading to logically different execution trajectories from utility-first users. Such variable-length and structurally different trajectories make standard preference optimization unstable and less informative. To address this issue, we propose Trajectory Induced Preference Optimization (TIPO), which uses preference-intensity weighting to emphasize key privacy-related steps and padding gating to suppress alignment noise. Results on our Privacy Preference Dataset show that TIPO improves persona alignment and distinction while preserving strong task executability, achieving 65.60% SR, 46.22 Compliance, and 66.67% PD, outperforming existing optimization methods across various GUI tasks. The code and dataset will be publicly released at https://github.com/Zhixin-L/TIPO.