PersonalAlign: 장기 사용자 중심 기록을 활용한 개인화 GUI 에이전트를 위한 계층적 암시적 의도 정렬
PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records
January 14, 2026
저자: Yibo Lyu, Gongwei Chen, Rui Shao, Weili Guan, Liqiang Nie
cs.AI
초록
GUI 에이전트는 명시적이고 완결된 지시 하에서 강력한 성능을 보여왔지만, 실제 환경 배포에는 사용자의 더 복잡한 암묵적 의도와의 정렬이 필요합니다. 본 연구에서는 개인화된 GUI 에이전트(PersonalAlign)를 위한 계층적 암묵 의도 정렬을 제안합니다. 이는 새로운 에이전트 과제로, 에이전트가 장기적 사용자 기록을 지속적 컨텍스트로 활용하여 모호한 지시에서 생략된 선호도를 해결하고, 사용자 상태에 따른 잠재적 루틴을 예측하여 능동적 지원을 제공해야 합니다.
이 연구를 지원하기 위해 AndroidIntent 벤치마크를 도입했습니다. 이는 에이전트의 장기적 사용자 기록에 대한 추론을 통해 모호한 지시를 해결하고 능동적 제안을 제공하는 능력을 평가하도록 설계되었습니다. 서로 다른 사용자들의 2만 건의 장기 기록에서 775개의 사용자별 선호도와 215개의 루틴을 평가를 위해 주석 처리했습니다. 또한, 지속적으로 업데이트되는 개인 메모리를 유지하고 사용자 선호도와 루틴을 개인화를 위해 계층적으로 구성하는 HIM-Agent를 소개합니다.
마지막으로 GPT-5, Qwen3-VL, UI-TARS 등 다양한 GUI 에이전트를 AndroidIntent에서 평가한 결과, HIM-Agent가 실행 성능과 능동적 성능을 각각 15.7%, 7.3% 크게 향상시키는 것으로 나타났습니다.
English
While GUI agents have shown strong performance under explicit and completion instructions, real-world deployment requires aligning with users' more complex implicit intents. In this work, we highlight Hierarchical Implicit Intent Alignment for Personalized GUI Agent (PersonalAlign), a new agent task that requires agents to leverage long-term user records as persistent context to resolve omitted preferences in vague instructions and anticipate latent routines by user state for proactive assistance. To facilitate this study, we introduce AndroidIntent, a benchmark designed to evaluate agents' ability in resolving vague instructions and providing proactive suggestions through reasoning over long-term user records. We annotated 775 user-specific preferences and 215 routines from 20k long-term records across different users for evaluation. Furthermore, we introduce Hierarchical Intent Memory Agent (HIM-Agent), which maintains a continuously updating personal memory and hierarchically organizes user preferences and routines for personalization. Finally, we evaluate a range of GUI agents on AndroidIntent, including GPT-5, Qwen3-VL, and UI-TARS, further results show that HIM-Agent significantly improves both execution and proactive performance by 15.7% and 7.3%.