ShowUI-π : Modèles génératifs à flux comme mains habiles d'interface graphique
ShowUI-π: Flow-based Generative Models as GUI Dexterous Hands
December 31, 2025
papers.authors: Siyuan Hu, Kevin Qinghong Lin, Mike Zheng Shou
cs.AI
papers.abstract
La création d'agents intelligents capables de manipulations dextres est essentielle pour parvenir à une automatisation humanoïde dans les domaines de la robotique et des environnements numériques. Cependant, les agents d'interface graphique (GUI) existants reposent sur des prédictions de clics discrets (x,y), ce qui interdit les trajectoires en boucle fermée et de forme libre (par exemple, faire glisser une barre de progression) qui nécessitent une perception et un ajustement continus et en temps réel. Dans ce travail, nous développons ShowUI-π, le premier modèle génératif basé sur des flux (flow-based) servant de main dextre pour les GUI, avec les conceptions suivantes : (i) Actions Unifiées Discrètes-Continues, intégrant les clics discrets et les glissés continus dans un modèle partagé, permettant une adaptation flexible à travers divers modes d'interaction ; (ii) Génération d'Actions par Flux pour la modélisation du glissé, qui prédit les ajustements incrémentiels du curseur à partir d'observations visuelles continues via un expert d'action léger, garantissant des trajectoires fluides et stables ; (iii) Données d'Entraînement et Benchmark pour le Glissé, où nous collectons et synthétisons manuellement 20 000 trajectoires de glissé couvrant cinq domaines (par exemple, PowerPoint, Adobe Premiere Pro), et introduisons ScreenDrag, un benchmark avec des protocoles d'évaluation en ligne et hors ligne complets pour évaluer les capacités de glissé des agents GUI. Nos expériences montrent que les agents GUI propriétaires peinent encore sur ScreenDrag (par exemple, Operator obtient 13,27, et le meilleur, Gemini-2.5-CUA, atteint 22,18). En revanche, ShowUI-π atteint 26,98 avec seulement 450M de paramètres, soulignant à la fois la difficulté de la tâche et l'efficacité de notre approche. Nous espérons que ce travail fera progresser les agents GUI vers un contrôle dextre de type humain dans le monde numérique. Le code est disponible à l'adresse https://github.com/showlab/showui-pi.
English
Building intelligent agents capable of dexterous manipulation is essential for achieving human-like automation in both robotics and digital environments. However, existing GUI agents rely on discrete click predictions (x,y), which prohibits free-form, closed-loop trajectories (e.g. dragging a progress bar) that require continuous, on-the-fly perception and adjustment. In this work, we develop ShowUI-π, the first flow-based generative model as GUI dexterous hand, featuring the following designs: (i) Unified Discrete-Continuous Actions, integrating discrete clicks and continuous drags within a shared model, enabling flexible adaptation across diverse interaction modes; (ii) Flow-based Action Generation for drag modeling, which predicts incremental cursor adjustments from continuous visual observations via a lightweight action expert, ensuring smooth and stable trajectories; (iii) Drag Training data and Benchmark, where we manually collect and synthesize 20K drag trajectories across five domains (e.g. PowerPoint, Adobe Premiere Pro), and introduce ScreenDrag, a benchmark with comprehensive online and offline evaluation protocols for assessing GUI agents' drag capabilities. Our experiments show that proprietary GUI agents still struggle on ScreenDrag (e.g. Operator scores 13.27, and the best Gemini-2.5-CUA reaches 22.18). In contrast, ShowUI-π achieves 26.98 with only 450M parameters, underscoring both the difficulty of the task and the effectiveness of our approach. We hope this work advances GUI agents toward human-like dexterous control in digital world. The code is available at https://github.com/showlab/showui-pi.