ShowUI-π: Modelos Geradores Baseados em Fluxo como Mãos Habilidosas de GUI

ShowUI-π: Flow-based Generative Models as GUI Dexterous Hands

December 31, 2025

Autores: Siyuan Hu, Kevin Qinghong Lin, Mike Zheng Shou

cs.AI

Resumo

A construção de agentes inteligentes capazes de manipulação destra é essencial para alcançar uma automação de caráter humanoide tanto em robótica quanto em ambientes digitais. No entanto, os agentes de interface gráfica (GUI) existentes baseiam-se em previsões discretas de cliques (x,y), o que proíbe trajetórias de livre-forma e em malha fechada (por exemplo, arrastar uma barra de progresso) que exigem perceção e ajuste contínuos e em tempo real. Neste trabalho, desenvolvemos o ShowUI-π, o primeiro modelo generativo baseado em fluxo como uma mão destra de GUI, apresentando os seguintes designs: (i) Ações Unificadas Discretas-Contínuas, integrando cliques discretos e arrastos contínuos dentro de um modelo partilhado, permitindo uma adaptação flexível através de diversos modos de interação; (ii) Geração de Ação Baseada em Fluxo para modelação de arrasto, que prevê ajustes incrementais do cursor a partir de observações visuais contínuas através de um perito de ação leve, garantindo trajetórias suaves e estáveis; (iii) Dados de Treino de Arrasto e Benchmark, onde recolhemos e sintetizamos manualmente 20 mil trajetórias de arrasto em cinco domínios (por exemplo, PowerPoint, Adobe Premiere Pro), e introduzimos o ScreenDrag, um benchmark com protocolos de avaliação online e offline abrangentes para avaliar as capacidades de arrasto de agentes de GUI. As nossas experiências mostram que os agentes proprietários de GUI ainda têm dificuldades no ScreenDrag (por exemplo, o Operator pontua 13,27, e o melhor Gemini-2.5-CUA atinge 22,18). Em contraste, o ShowUI-π atinge 26,98 com apenas 450M de parâmetros, sublinhando tanto a dificuldade da tarefa como a eficácia da nossa abordagem. Esperamos que este trabalho avance os agentes de GUI em direção a um controlo destro de caráter humanoide no mundo digital. O código está disponível em https://github.com/showlab/showui-pi.

English

Building intelligent agents capable of dexterous manipulation is essential for achieving human-like automation in both robotics and digital environments. However, existing GUI agents rely on discrete click predictions (x,y), which prohibits free-form, closed-loop trajectories (e.g. dragging a progress bar) that require continuous, on-the-fly perception and adjustment. In this work, we develop ShowUI-π, the first flow-based generative model as GUI dexterous hand, featuring the following designs: (i) Unified Discrete-Continuous Actions, integrating discrete clicks and continuous drags within a shared model, enabling flexible adaptation across diverse interaction modes; (ii) Flow-based Action Generation for drag modeling, which predicts incremental cursor adjustments from continuous visual observations via a lightweight action expert, ensuring smooth and stable trajectories; (iii) Drag Training data and Benchmark, where we manually collect and synthesize 20K drag trajectories across five domains (e.g. PowerPoint, Adobe Premiere Pro), and introduce ScreenDrag, a benchmark with comprehensive online and offline evaluation protocols for assessing GUI agents' drag capabilities. Our experiments show that proprietary GUI agents still struggle on ScreenDrag (e.g. Operator scores 13.27, and the best Gemini-2.5-CUA reaches 22.18). In contrast, ShowUI-π achieves 26.98 with only 450M parameters, underscoring both the difficulty of the task and the effectiveness of our approach. We hope this work advances GUI agents toward human-like dexterous control in digital world. The code is available at https://github.com/showlab/showui-pi.