트래젝토리 기반 선호도 최적화를 통한 모바일 GUI 에이전트 프라이버시 개인화

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

April 13, 2026

저자: Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu, Yuecong Min, Yue Yao

cs.AI

초록

멀티모달 대형 언어 모델(MLLM) 기반 모바일 GUI 에이전트는 모바일 기기에서 복잡한 작업을 수행할 수 있습니다. 이러한 진전에도 불구하고, 기존 시스템 대부분은 여전히 작업 성공률이나 효율성을 최적화하는 데 집중하며 사용자의 프라이버시 개인화를 간과하고 있습니다. 본 논문에서는 자주 간과되는 에이전트 개인화 문제를 연구합니다. 우리는 개인화가 실행 궤적에서 체계적인 구조적 이질성을 유발할 수 있음을 관찰했습니다. 예를 들어, 프라이버시 우선 사용자들은 권한 거부, 로그아웃, 노출 최소화 등과 같은 보호적 행동을 선호하는 경향이 있어, 유틸리티 우선 사용자들과는 논리적으로 다른 실행 궤적을 보입니다. 이러한 가변 길이 및 구조적으로 상이한 궤적들은 표준 선호도 최적화를 불안정하게 하고 정보성을 낮추는 원인이 됩니다. 이 문제를 해결하기 위해 우리는 핵심 프라이버시 관련 단계를 강조하는 선호도 강도 가중치와 정렬 노이즈를 억제하는 패딩 게이팅을 활용하는 궤적 유도 선호도 최적화(TIPO)를 제안합니다. 우리의 프라이버시 선호도 데이터셋에 대한 실험 결과, TIPO는 강력한 작업 실행 능력을 유지하면서 개인화 정렬도와 구별력을 향상시켜 65.60%의 성공률(SR), 46.22%의 준수도(Compliance), 66.67%의 개인화 구별력(PD)을 달성하여 다양한 GUI 작업에서 기존 최적화 방법들을 능가함을 보여줍니다. 코드와 데이터셋은 https://github.com/Zhixin-L/TIPO 에 공개될 예정입니다.

English

Mobile GUI agents powered by Multimodal Large Language Models (MLLMs) can execute complex tasks on mobile devices. Despite this progress, most existing systems still optimize task success or efficiency, neglecting users' privacy personalization. In this paper, we study the often-overlooked problem of agent personalization. We observe that personalization can induce systematic structural heterogeneity in execution trajectories. For example, privacy-first users often prefer protective actions, e.g., refusing permissions, logging out, and minimizing exposure, leading to logically different execution trajectories from utility-first users. Such variable-length and structurally different trajectories make standard preference optimization unstable and less informative. To address this issue, we propose Trajectory Induced Preference Optimization (TIPO), which uses preference-intensity weighting to emphasize key privacy-related steps and padding gating to suppress alignment noise. Results on our Privacy Preference Dataset show that TIPO improves persona alignment and distinction while preserving strong task executability, achieving 65.60% SR, 46.22 Compliance, and 66.67% PD, outperforming existing optimization methods across various GUI tasks. The code and dataset will be publicly released at https://github.com/Zhixin-L/TIPO.