ShowUI-π: Modelli Generativi basati su Flusso come Mani Abili per GUI
ShowUI-π: Flow-based Generative Models as GUI Dexterous Hands
December 31, 2025
Autori: Siyuan Hu, Kevin Qinghong Lin, Mike Zheng Shou
cs.AI
Abstract
Lo sviluppo di agenti intelligenti capaci di manipolazione destrosa è fondamentale per raggiungere un'automazione di tipo umano sia nella robotica che negli ambienti digitali. Tuttavia, gli attuali agenti GUI si basano su predizioni discrete di clic (x,y), il che impedisce traiettorie libere e in ciclo chiuso (ad esempio, trascinare una barra di avanzamento) che richiedono percezione e regolazione continue e in tempo reale. In questo lavoro, sviluppiamo ShowUI-π, il primo modello generativo basato su flussi come mano destrosa per GUI, caratterizzato dalle seguenti innovazioni: (i) Azioni Unificate Discrete-Continue, che integrano clic discreti e trascinamenti continui all'interno di un modello condiviso, consentendo un adattamento flessibile attraverso diverse modalità di interazione; (ii) Generazione di Azioni basata su Flussi per la modellazione del trascinamento, che predice aggiustamenti incrementali del cursore da osservazioni visive continue tramite un esperto di azioni leggero, garantendo traiettorie fluide e stabili; (iii) Dati di Addestramento e Benchmark per il Trascinamento, dove raccogliamo manualmente e sintetizziamo 20.000 traiettorie di trascinamento in cinque domini (ad esempio PowerPoint, Adobe Premiere Pro) e introduciamo ScreenDrag, un benchmark con protocolli di valutazione online e offline completi per valutare le capacità di trascinamento degli agenti GUI. I nostri esperimenti mostrano che gli agenti GUI proprietari hanno ancora difficoltà su ScreenDrag (ad esempio, Operator totalizza 13.27, e il migliore Gemini-2.5-CUA raggiunge 22.18). Al contrario, ShowUI-π raggiunge 26.98 con soli 450M di parametri, sottolineando sia la difficoltà del compito che l'efficacia del nostro approccio. Speriamo che questo lavoro faccia progredire gli agenti GUI verso un controllo destrorso di tipo umano nel mondo digitale. Il codice è disponibile all'indirizzo https://github.com/showlab/showui-pi.
English
Building intelligent agents capable of dexterous manipulation is essential for achieving human-like automation in both robotics and digital environments. However, existing GUI agents rely on discrete click predictions (x,y), which prohibits free-form, closed-loop trajectories (e.g. dragging a progress bar) that require continuous, on-the-fly perception and adjustment. In this work, we develop ShowUI-π, the first flow-based generative model as GUI dexterous hand, featuring the following designs: (i) Unified Discrete-Continuous Actions, integrating discrete clicks and continuous drags within a shared model, enabling flexible adaptation across diverse interaction modes; (ii) Flow-based Action Generation for drag modeling, which predicts incremental cursor adjustments from continuous visual observations via a lightweight action expert, ensuring smooth and stable trajectories; (iii) Drag Training data and Benchmark, where we manually collect and synthesize 20K drag trajectories across five domains (e.g. PowerPoint, Adobe Premiere Pro), and introduce ScreenDrag, a benchmark with comprehensive online and offline evaluation protocols for assessing GUI agents' drag capabilities. Our experiments show that proprietary GUI agents still struggle on ScreenDrag (e.g. Operator scores 13.27, and the best Gemini-2.5-CUA reaches 22.18). In contrast, ShowUI-π achieves 26.98 with only 450M parameters, underscoring both the difficulty of the task and the effectiveness of our approach. We hope this work advances GUI agents toward human-like dexterous control in digital world. The code is available at https://github.com/showlab/showui-pi.