ShowUI-π: Stroomgebaseerde generatieve modellen als behendige GUI-handen
ShowUI-π: Flow-based Generative Models as GUI Dexterous Hands
December 31, 2025
Auteurs: Siyuan Hu, Kevin Qinghong Lin, Mike Zheng Shou
cs.AI
Samenvatting
Het ontwikkelen van intelligente agenten die behendige manipulatie kunnen uitvoeren, is essentieel om mensachtige automatisering te bereiken in zowel robotica als digitale omgevingen. Bestaande GUI-agenten zijn echter afhankelijk van discrete klikvoorspellingen (x,y), wat vrije, gesloten-lus trajecten (zoals het slepen van een voortgangsbalk) verhindert die continue, real-time waarneming en bijstelling vereisen. In dit werk ontwikkelen we ShowUI-π, het eerste op stromen gebaseerde generatieve model als een behendige GUI-hand, met de volgende ontwerpkenmerken: (i) Verenigde Discrete-Continue Acties, die discrete klikken en continue slepende bewegingen integreren binnen een gedeeld model, waardoor flexibele aanpassing aan diverse interactiemodi mogelijk is; (ii) Op Stromen Gebaseerde Actiegeneratie voor sleepmodellering, die incrementele cursoraanpassingen voorspelt op basis van continue visuele waarnemingen via een lichtgewicht actie-expert, wat soepele en stabiele trajecten garandeert; (iii) Sleeptrainingsdata en Benchmark, waarbij we handmatig 20.000 sleeptrajecten verzamelen en synthetiseren in vijf domeinen (zoals PowerPoint, Adobe Premiere Pro), en ScreenDrag introduceren, een benchmark met uitgebreide online en offline evaluatieprotocollen om de sleepcapaciteiten van GUI-agenten te beoordelen. Onze experimenten tonen aan dat propriëtaire GUI-agenten nog steeds moeite hebben met ScreenDrag (bijvoorbeeld Operator scoort 13,27, en de beste Gemini-2.5-CUA haalt 22,18). ShowUI-π bereikt daarentegen 26,98 met slechts 450M parameters, wat zowel de moeilijkheidsgraad van de taak als de effectiviteit van onze aanpak onderstreept. Wij hopen dat dit werk GUI-agenten verder brengt naar mensachtige behendige controle in de digitale wereld. De code is beschikbaar op https://github.com/showlab/showui-pi.
English
Building intelligent agents capable of dexterous manipulation is essential for achieving human-like automation in both robotics and digital environments. However, existing GUI agents rely on discrete click predictions (x,y), which prohibits free-form, closed-loop trajectories (e.g. dragging a progress bar) that require continuous, on-the-fly perception and adjustment. In this work, we develop ShowUI-π, the first flow-based generative model as GUI dexterous hand, featuring the following designs: (i) Unified Discrete-Continuous Actions, integrating discrete clicks and continuous drags within a shared model, enabling flexible adaptation across diverse interaction modes; (ii) Flow-based Action Generation for drag modeling, which predicts incremental cursor adjustments from continuous visual observations via a lightweight action expert, ensuring smooth and stable trajectories; (iii) Drag Training data and Benchmark, where we manually collect and synthesize 20K drag trajectories across five domains (e.g. PowerPoint, Adobe Premiere Pro), and introduce ScreenDrag, a benchmark with comprehensive online and offline evaluation protocols for assessing GUI agents' drag capabilities. Our experiments show that proprietary GUI agents still struggle on ScreenDrag (e.g. Operator scores 13.27, and the best Gemini-2.5-CUA reaches 22.18). In contrast, ShowUI-π achieves 26.98 with only 450M parameters, underscoring both the difficulty of the task and the effectiveness of our approach. We hope this work advances GUI agents toward human-like dexterous control in digital world. The code is available at https://github.com/showlab/showui-pi.