Test-Time Reinforcement Learning voor GUI Grounding via Regionconsistentie

Test-Time Reinforcement Learning for GUI Grounding via Region Consistency

August 7, 2025

Auteurs: Yong Du, Yuchen Yan, Fei Tang, Zhengxi Lu, Chang Zong, Weiming Lu, Shengpei Jiang, Yongliang Shen

cs.AI

Samenvatting

Graphical User Interface (GUI) grounding, de taak om natuurlijke taal instructies te koppelen aan precieze schermcoördinaten, is fundamenteel voor autonome GUI-agents. Hoewel bestaande methoden sterke prestaties behalen door middel van uitgebreide begeleide training of reinforcement learning met gelabelde beloningen, blijven ze beperkt door de kosten en beschikbaarheid van pixelniveau annotaties. We observeren dat wanneer modellen meerdere voorspellingen genereren voor hetzelfde GUI-element, de ruimtelijke overlappatronen impliciete betrouwbaarheidssignalen onthullen die een nauwkeurigere lokalisatie kunnen begeleiden. Gebruikmakend van dit inzicht, stellen we GUI-RC (Region Consistency) voor, een test-time schaalingsmethode die ruimtelijke stemraster construeert uit meerdere bemonsterde voorspellingen om consensusregio's te identificeren waar modellen de hoogste overeenstemming tonen. Zonder enige training verbetert GUI-RC de nauwkeurigheid met 2-3% over verschillende architecturen op ScreenSpot benchmarks. We introduceren verder GUI-RCPO (Region Consistency Policy Optimization), dat deze consistentiepatronen omzet in beloningen voor test-time reinforcement learning. Door te berekenen hoe goed elke voorspelling overeenkomt met het collectieve consensus, stelt GUI-RCPO modellen in staat om hun uitvoer iteratief te verfijnen op ongelabelde gegevens tijdens inferentie. Uitgebreide experimenten tonen de algemeenheid van onze aanpak aan: GUI-RC verbetert Qwen2.5-VL-3B-Instruct van 80.11% naar 83.57% op ScreenSpot-v2, terwijl GUI-RCPO het verder verbetert naar 85.14% door middel van zelfbegeleide optimalisatie. Onze aanpak onthult het onbenutte potentieel van test-time schaling en test-time reinforcement learning voor GUI grounding, en biedt een veelbelovend pad naar robuustere en data-efficiëntere GUI-agents.

English

Graphical User Interface (GUI) grounding, the task of mapping natural language instructions to precise screen coordinates, is fundamental to autonomous GUI agents. While existing methods achieve strong performance through extensive supervised training or reinforcement learning with labeled rewards, they remain constrained by the cost and availability of pixel-level annotations. We observe that when models generate multiple predictions for the same GUI element, the spatial overlap patterns reveal implicit confidence signals that can guide more accurate localization. Leveraging this insight, we propose GUI-RC (Region Consistency), a test-time scaling method that constructs spatial voting grids from multiple sampled predictions to identify consensus regions where models show highest agreement. Without any training, GUI-RC improves accuracy by 2-3% across various architectures on ScreenSpot benchmarks. We further introduce GUI-RCPO (Region Consistency Policy Optimization), which transforms these consistency patterns into rewards for test-time reinforcement learning. By computing how well each prediction aligns with the collective consensus, GUI-RCPO enables models to iteratively refine their outputs on unlabeled data during inference. Extensive experiments demonstrate the generality of our approach: GUI-RC boosts Qwen2.5-VL-3B-Instruct from 80.11% to 83.57% on ScreenSpot-v2, while GUI-RCPO further improves it to 85.14% through self-supervised optimization. Our approach reveals the untapped potential of test-time scaling and test-time reinforcement learning for GUI grounding, offering a promising path toward more robust and data-efficient GUI agents.