軌道誘導型選好最適化によるモバイルGUIエージェントのプライバシー個人化

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

April 13, 2026

著者: Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu, Yuecong Min, Yue Yao

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLM）を中核とするモバイルGUIエージェントは、モバイルデバイス上で複雑なタスクを実行可能である。このような進展にもかかわらず、既存システムの多くはタスクの成功率や効率性を最適化する一方で、ユーザーのプライバシー選好に基づく個人化を軽視してきた。本論文では、これまで看過されがちであったエージェントの個人化問題に着目する。個人化が実行軌跡に体系的な構造的異質性を誘発することを明らかにする。例えば、プライバシー優先ユーザーは、権限拒否、ログアウト、情報露出の最小化といった保護的動作を好み、効用優先ユーザーとは論理的に異なる実行軌跡を形成する。このような可変長かつ構造的に多様な軌跡は、標準的な選好最適化手法の不安定性や情報量不足を招く。この課題を解決するため、本論文では軌跡誘導型選好最適化法（Trajectory Induced Preference Optimization: TIPO）を提案する。TIPOは選好強度重み付けによりプライバシー関連の重要段階を強調し、パディングゲート機構によりアライメントノイズを抑制する。構築したプライバシー選好データセットを用いた実験では、TIPOがタスク実行性能を維持しつつ、人物特性への適合性（65.60% SR）と選好識別性（66.67% PD）を向上させ、コンプライアンス指標（46.22）においても既存の最適化手法を凌駕することを実証した。コードとデータセットはhttps://github.com/Zhixin-L/TIPO で公開予定である。

English

Mobile GUI agents powered by Multimodal Large Language Models (MLLMs) can execute complex tasks on mobile devices. Despite this progress, most existing systems still optimize task success or efficiency, neglecting users' privacy personalization. In this paper, we study the often-overlooked problem of agent personalization. We observe that personalization can induce systematic structural heterogeneity in execution trajectories. For example, privacy-first users often prefer protective actions, e.g., refusing permissions, logging out, and minimizing exposure, leading to logically different execution trajectories from utility-first users. Such variable-length and structurally different trajectories make standard preference optimization unstable and less informative. To address this issue, we propose Trajectory Induced Preference Optimization (TIPO), which uses preference-intensity weighting to emphasize key privacy-related steps and padding gating to suppress alignment noise. Results on our Privacy Preference Dataset show that TIPO improves persona alignment and distinction while preserving strong task executability, achieving 65.60% SR, 46.22 Compliance, and 66.67% PD, outperforming existing optimization methods across various GUI tasks. The code and dataset will be publicly released at https://github.com/Zhixin-L/TIPO.