GUI-G^2: 그래픽 사용자 인터페이스 기반을 위한 가우시안 보상 모델링

초록

그래픽 사용자 인터페이스(GUI) 기반화는 자연어 명령을 자율적 상호작용을 위한 정확한 인터페이스 위치로 매핑한다. 현재의 강화 학습 접근법은 요소를 명중 또는 실패 대상으로 취급하는 이진 보상을 사용하며, 이는 공간적 상호작용의 연속적인 특성을 무시하는 희소 신호를 생성한다. 인간의 클릭 행동이 목표 요소를 중심으로 자연스럽게 가우시안 분포를 형성한다는 점에 착안하여, 우리는 GUI 요소를 인터페이스 평면 전체에 걸친 연속적인 가우시안 분포로 모델링하는 원칙적인 보상 프레임워크인 GUI 가우시안 기반화 보상(GUI-G^2)을 소개한다. GUI-G^2는 두 가지 상호 보완적인 메커니즘을 통합한다: 가우시안 점 보상은 요소 중심을 중심으로 지수적으로 감소하는 분포를 통해 정확한 위치 지정을 모델링하고, 커버리지 보상은 예측된 가우시안 분포와 목표 영역 간의 겹침을 측정하여 공간적 정렬을 평가한다. 다양한 요소 크기를 처리하기 위해, 우리는 요소 크기에 기반하여 보상 분포를 조정하는 적응형 분산 메커니즘을 개발했다. 이 프레임워크는 GUI 기반화를 희소한 이진 분류에서 조밀한 연속 최적화로 전환하며, 가우시안 분포는 최적의 상호작용 위치로 모델을 안내하는 풍부한 기울기 신호를 생성한다. ScreenSpot, ScreenSpot-v2, ScreenSpot-Pro 벤치마크에 걸친 광범위한 실험을 통해 GUI-G^2가 최신 기술인 UI-TARS-72B를 크게 능가하며, ScreenSpot-Pro에서 가장 큰 24.7%의 개선을 보여준다는 것을 입증했다. 우리의 분석은 연속 모델링이 인터페이스 변동에 대한 우수한 견고성과 보이지 않는 레이아웃에 대한 향상된 일반화를 제공하여 GUI 상호작용 작업에서 공간 추론의 새로운 패러다임을 확립한다는 것을 보여준다.

English

Graphical User Interface (GUI) grounding maps natural language instructions to precise interface locations for autonomous interaction. Current reinforcement learning approaches use binary rewards that treat elements as hit-or-miss targets, creating sparse signals that ignore the continuous nature of spatial interactions. Motivated by human clicking behavior that naturally forms Gaussian distributions centered on target elements, we introduce GUI Gaussian Grounding Rewards (GUI-G^2), a principled reward framework that models GUI elements as continuous Gaussian distributions across the interface plane. GUI-G^2 incorporates two synergistic mechanisms: Gaussian point rewards model precise localization through exponentially decaying distributions centered on element centroids, while coverage rewards assess spatial alignment by measuring the overlap between predicted Gaussian distributions and target regions. To handle diverse element scales, we develop an adaptive variance mechanism that calibrates reward distributions based on element dimensions. This framework transforms GUI grounding from sparse binary classification to dense continuous optimization, where Gaussian distributions generate rich gradient signals that guide models toward optimal interaction positions. Extensive experiments across ScreenSpot, ScreenSpot-v2, and ScreenSpot-Pro benchmarks demonstrate that GUI-G^2, substantially outperforms state-of-the-art method UI-TARS-72B, with the most significant improvement of 24.7% on ScreenSpot-Pro. Our analysis reveals that continuous modeling provides superior robustness to interface variations and enhanced generalization to unseen layouts, establishing a new paradigm for spatial reasoning in GUI interaction tasks.

GUI-G^2: 그래픽 사용자 인터페이스 기반을 위한 가우시안 보상 모델링

GUI-G^2: Gaussian Reward Modeling for GUI Grounding

초록

Support