GUI-Libra: Training nativer GUI-Agenten zum schlussfolgernden Handeln mit aktionsbewusster Supervision und teilweise verifizierbarem Reinforcement Learning

GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL

February 25, 2026

papers.authors: Rui Yang, Qianhui Wu, Zhaoyang Wang, Hanyang Chen, Ke Yang, Hao Cheng, Huaxiu Yao, Baoling Peng, Huan Zhang, Jianfeng Gao, Tong Zhang

cs.AI

papers.abstract

Open-Source native GUI-Agents hinken bei langfristigen Navigationsaufgaben nach wie vor Closed-Source-Systemen hinterher. Diese Lücke resultiert aus zwei Einschränkungen: einem Mangel an hochwertigen, handlungsausgerichteten Reasoning-Daten und der direkten Übernahme generischer Post-Training-Pipelines, die die einzigartigen Herausforderungen von GUI-Agents vernachlässigen. Wir identifizieren zwei grundlegende Probleme in diesen Pipelines: (i) Standard-SFT mit CoT-Reasoning beeinträchtigt oft die Grounding-Fähigkeit, und (ii) schrittweises RLVR-artiges Training steht vor dem Problem der partiellen Verifizierbarkeit, bei der mehrere Aktionen korrekt sein können, aber nur eine einzige demonstrierte Aktion zur Verifikation herangezogen wird. Dies macht offline schrittweise Metriken zu schwachen Prädiktoren für den online Aufgaben-Erfolg. In dieser Arbeit stellen wir GUI-Libra vor, ein maßgeschneidertes Trainingsrezept, das diese Herausforderungen adressiert. Erstens, um die Knappheit an handlungsausgerichteten Reasoning-Daten zu mildern, führen wir eine Pipeline zur Datenerstellung und -filterung ein und veröffentlichen einen kuratierten 81K-GUI-Reasoning-Datensatz. Zweitens, um Reasoning mit Grounding in Einklang zu bringen, schlagen wir eine handlungsbewusste SFT vor, die Reasoning-dann-Aktion- und Direkt-Aktion-Daten mischt und Token neu gewichtet, um Handlung und Grounding zu betonen. Drittens, um RL unter partieller Verifizierbarkeit zu stabilisieren, identifizieren wir die übersehene Bedeutung der KL-Regularisierung in RLVR und zeigen, dass eine KL-Vertrauensregion entscheidend für eine verbesserte Offline-zu-Online-Vorhersagbarkeit ist; wir führen weiterhin eine erfolgsadaptive Skalierung ein, um unzuverlässige negative Gradienten abzuwerten. Über diverse Web- und Mobile-Benchmarks hinweg verbessert GUI-Libra konsequent sowohl die schrittweise Genauigkeit als auch die End-to-End-Aufgabenerfüllung. Unsere Ergebnisse deuten darauf hin, dass sorgfältig gestaltetes Post-Training und Datenkurierung deutlich stärkere Aufgabenlösungsfähigkeiten freisetzen können, ohne kostspielige Online-Datensammlung. Wir veröffentlichen unseren Datensatz, Code und Modelle, um die weitere Erforschung dateneffizienten Post-Trainings für reasoning-fähige GUI-Agents zu erleichtern.

English

Open-source native GUI agents still lag behind closed-source systems on long-horizon navigation tasks. This gap stems from two limitations: a shortage of high-quality, action-aligned reasoning data, and the direct adoption of generic post-training pipelines that overlook the unique challenges of GUI agents. We identify two fundamental issues in these pipelines: (i) standard SFT with CoT reasoning often hurts grounding, and (ii) step-wise RLVR-tyle training faces partial verifiability, where multiple actions can be correct but only a single demonstrated action is used for verification. This makes offline step-wise metrics weak predictors of online task success. In this work, we present GUI-Libra, a tailored training recipe that addresses these challenges. First, to mitigate the scarcity of action-aligned reasoning data, we introduce a data construction and filtering pipeline and release a curated 81K GUI reasoning dataset. Second, to reconcile reasoning with grounding, we propose action-aware SFT that mixes reasoning-then-action and direct-action data and reweights tokens to emphasize action and grounding. Third, to stabilize RL under partial verifiability, we identify the overlooked importance of KL regularization in RLVR and show that a KL trust region is critical for improving offline-to-online predictability; we further introduce success-adaptive scaling to downweight unreliable negative gradients. Across diverse web and mobile benchmarks, GUI-Libra consistently improves both step-wise accuracy and end-to-end task completion. Our results suggest that carefully designed post-training and data curation can unlock significantly stronger task-solving capabilities without costly online data collection. We release our dataset, code, and models to facilitate further research on data-efficient post-training for reasoning-capable GUI agents.