ShowUI-π: Flussbasierte generative Modelle als geschickte GUI-Bedienhände
ShowUI-π: Flow-based Generative Models as GUI Dexterous Hands
December 31, 2025
papers.authors: Siyuan Hu, Kevin Qinghong Lin, Mike Zheng Shou
cs.AI
papers.abstract
Die Entwicklung intelligenter Agenten mit geschickter Manipulationsfähigkeit ist entscheidend für die Realisierung menschenähnlicher Automatisierung sowohl in der Robotik als auch in digitalen Umgebungen. Bisherige GUI-Agenten basieren jedoch auf diskreten Klick-Vorhersagen (x,y), was freie, geschlossene Trajektorien (z.B. das Ziehen eines Fortschrittsbalkens) verhindert, die kontinuierliche, unmittelbare Wahrnehmung und Anpassung erfordern. In dieser Arbeit entwickeln wir ShowUI-π, das erste flussbasierte generative Modell als geschickte GUI-Hand, mit folgenden Entwurfsmerkmalen: (i) Vereinheitlichte diskret-kontinuierliche Aktionen, die diskrete Klicks und kontinuierliches Ziehen in einem gemeinsamen Modell integrieren und flexible Anpassung über diverse Interaktionsmodi hinweg ermöglichen; (ii) Flussbasierte Aktionsgenerierung für die Ziehmodellierung, die inkrementelle Cursor-Anpassungen aus kontinuierlichen visuellen Beobachtungen via eines leichten Aktions-Experten vorhersagt und so glatte, stabile Trajektorien gewährleistet; (iii) Zieh-Trainingsdaten und Benchmark, bei dem wir manuell 20K Ziehtrajektorien über fünf Domänen (z.B. PowerPoint, Adobe Premiere Pro) sammeln und synthetisieren und ScreenDrag einführen, einen Benchmark mit umfassenden Online- und Offline-Evaluierungsprotokollen zur Bewertung der Ziehfähigkeiten von GUI-Agenten. Unsere Experimente zeigen, dass proprietäre GUI-Agenten auf ScreenDrag weiterhin Schwierigkeiten haben (z.B. erzielt Operator 13,27 Punkte und der beste Gemini-2.5-CUA erreicht 22,18). Im Gegensatz dazu erreicht ShowUI-π 26,98 Punkte mit nur 450M Parametern, was sowohl die Schwierigkeit der Aufgabe als auch die Effektivität unseres Ansatzes unterstreicht. Wir hoffen, dass diese Arbeit GUI-Agenten hin zu einer menschenähnlichen, geschickten Steuerung in der digitalen Welt voranbringt. Der Code ist verfügbar unter https://github.com/showlab/showui-pi.
English
Building intelligent agents capable of dexterous manipulation is essential for achieving human-like automation in both robotics and digital environments. However, existing GUI agents rely on discrete click predictions (x,y), which prohibits free-form, closed-loop trajectories (e.g. dragging a progress bar) that require continuous, on-the-fly perception and adjustment. In this work, we develop ShowUI-π, the first flow-based generative model as GUI dexterous hand, featuring the following designs: (i) Unified Discrete-Continuous Actions, integrating discrete clicks and continuous drags within a shared model, enabling flexible adaptation across diverse interaction modes; (ii) Flow-based Action Generation for drag modeling, which predicts incremental cursor adjustments from continuous visual observations via a lightweight action expert, ensuring smooth and stable trajectories; (iii) Drag Training data and Benchmark, where we manually collect and synthesize 20K drag trajectories across five domains (e.g. PowerPoint, Adobe Premiere Pro), and introduce ScreenDrag, a benchmark with comprehensive online and offline evaluation protocols for assessing GUI agents' drag capabilities. Our experiments show that proprietary GUI agents still struggle on ScreenDrag (e.g. Operator scores 13.27, and the best Gemini-2.5-CUA reaches 22.18). In contrast, ShowUI-π achieves 26.98 with only 450M parameters, underscoring both the difficulty of the task and the effectiveness of our approach. We hope this work advances GUI agents toward human-like dexterous control in digital world. The code is available at https://github.com/showlab/showui-pi.