Apprendimento per Rinforzo al Momento del Test per il Grounding di Interfacce Grafiche tramite Consistenza Regionale

Test-Time Reinforcement Learning for GUI Grounding via Region Consistency

August 7, 2025

Autori: Yong Du, Yuchen Yan, Fei Tang, Zhengxi Lu, Chang Zong, Weiming Lu, Shengpei Jiang, Yongliang Shen

cs.AI

Abstract

Il grounding delle interfacce grafiche (GUI), ovvero il compito di mappare istruzioni in linguaggio naturale a coordinate precise sullo schermo, è fondamentale per gli agenti autonomi che operano su GUI. Sebbene i metodi esistenti raggiungano prestazioni elevate attraverso un ampio addestramento supervisionato o l'apprendimento per rinforzo con ricompense etichettate, rimangono limitati dal costo e dalla disponibilità di annotazioni a livello di pixel. Osserviamo che quando i modelli generano più previsioni per lo stesso elemento GUI, i modelli di sovrapposizione spaziale rivelano segnali di confidenza impliciti che possono guidare una localizzazione più accurata. Sfruttando questa intuizione, proponiamo GUI-RC (Region Consistency), un metodo di scaling al momento del test che costruisce griglie di voto spaziale da più previsioni campionate per identificare le regioni di consenso in cui i modelli mostrano il massimo accordo. Senza alcun addestramento, GUI-RC migliora l'accuratezza del 2-3% su varie architetture nei benchmark ScreenSpot. Introduciamo inoltre GUI-RCPO (Region Consistency Policy Optimization), che trasforma questi modelli di consistenza in ricompense per l'apprendimento per rinforzo al momento del test. Calcolando quanto bene ogni previsione si allinea con il consenso collettivo, GUI-RCPO consente ai modelli di affinare iterativamente i loro output su dati non etichettati durante l'inferenza. Esperimenti estensivi dimostrano la generalità del nostro approccio: GUI-RC aumenta Qwen2.5-VL-3B-Instruct dall'80.11% all'83.57% su ScreenSpot-v2, mentre GUI-RCPO lo migliora ulteriormente all'85.14% attraverso l'ottimizzazione auto-supervisionata. Il nostro approccio rivela il potenziale inesplorato dello scaling al momento del test e dell'apprendimento per rinforzo al momento del test per il grounding delle GUI, offrendo una strada promettente verso agenti GUI più robusti ed efficienti in termini di dati.

English

Graphical User Interface (GUI) grounding, the task of mapping natural language instructions to precise screen coordinates, is fundamental to autonomous GUI agents. While existing methods achieve strong performance through extensive supervised training or reinforcement learning with labeled rewards, they remain constrained by the cost and availability of pixel-level annotations. We observe that when models generate multiple predictions for the same GUI element, the spatial overlap patterns reveal implicit confidence signals that can guide more accurate localization. Leveraging this insight, we propose GUI-RC (Region Consistency), a test-time scaling method that constructs spatial voting grids from multiple sampled predictions to identify consensus regions where models show highest agreement. Without any training, GUI-RC improves accuracy by 2-3% across various architectures on ScreenSpot benchmarks. We further introduce GUI-RCPO (Region Consistency Policy Optimization), which transforms these consistency patterns into rewards for test-time reinforcement learning. By computing how well each prediction aligns with the collective consensus, GUI-RCPO enables models to iteratively refine their outputs on unlabeled data during inference. Extensive experiments demonstrate the generality of our approach: GUI-RC boosts Qwen2.5-VL-3B-Instruct from 80.11% to 83.57% on ScreenSpot-v2, while GUI-RCPO further improves it to 85.14% through self-supervised optimization. Our approach reveals the untapped potential of test-time scaling and test-time reinforcement learning for GUI grounding, offering a promising path toward more robust and data-efficient GUI agents.