ShowUI-π: Потоковые генеративные модели как ловкие руки графического интерфейса

ShowUI-π: Flow-based Generative Models as GUI Dexterous Hands

December 31, 2025

Авторы: Siyuan Hu, Kevin Qinghong Lin, Mike Zheng Shou

cs.AI

Аннотация

Создание интеллектуальных агентов, способных к ловкому манипулированию, является ключевым для достижения человеко-подобной автоматизации как в робототехнике, так и в цифровых средах. Однако существующие GUI-агенты полагаются на дискретные предсказания кликов (x,y), что исключает свободные, замкнутые траектории (например, перетаскивание ползунка прогресса), требующие непрерывного восприятия и корректировки в реальном времени. В данной работе мы разрабатываем ShowUI-π — первую потоковую генеративную модель в качестве ловкой руки для GUI, обладающую следующими особенностями: (i) Единые Дискретно-Непрерывные Действия, объединяющие дискретные клики и непрерывные перетаскивания в рамках общей модели, что обеспечивает гибкую адаптацию к различным режимам взаимодействия; (ii) Потоковое Генерирование Действий для моделирования перетаскивания, которое предсказывает инкрементные перемещения курсора на основе непрерывных визуальных наблюдений с помощью легковесного эксперта действий, гарантируя плавные и стабильные траектории; (iii) Данные для Обучения Перетаскиванию и Бенчмарк, где мы вручную собираем и синтезируем 20 тыс. траекторий перетаскивания в пяти областях (например, PowerPoint, Adobe Premiere Pro) и представляем ScreenDrag — бенчмарк с комплексными онлайн- и офлайн-протоколами оценки для проверки способностей GUI-агентов к перетаскиванию. Наши эксперименты показывают, что проприетарные GUI-агенты по-прежнему испытывают трудности с ScreenDrag (например, Operator набирает 13.27 баллов, а лучший Gemini-2.5-CUA достигает 22.18). В то же время ShowUI-π достигает результата в 26.98 баллов, имея всего 450 млн параметров, что подчеркивает как сложность задачи, так и эффективность нашего подхода. Мы надеемся, что эта работа продвинет развитие GUI-агентов в сторону человеко-подобного ловкого управления в цифровом мире. Код доступен по адресу https://github.com/showlab/showui-pi.

English

Building intelligent agents capable of dexterous manipulation is essential for achieving human-like automation in both robotics and digital environments. However, existing GUI agents rely on discrete click predictions (x,y), which prohibits free-form, closed-loop trajectories (e.g. dragging a progress bar) that require continuous, on-the-fly perception and adjustment. In this work, we develop ShowUI-π, the first flow-based generative model as GUI dexterous hand, featuring the following designs: (i) Unified Discrete-Continuous Actions, integrating discrete clicks and continuous drags within a shared model, enabling flexible adaptation across diverse interaction modes; (ii) Flow-based Action Generation for drag modeling, which predicts incremental cursor adjustments from continuous visual observations via a lightweight action expert, ensuring smooth and stable trajectories; (iii) Drag Training data and Benchmark, where we manually collect and synthesize 20K drag trajectories across five domains (e.g. PowerPoint, Adobe Premiere Pro), and introduce ScreenDrag, a benchmark with comprehensive online and offline evaluation protocols for assessing GUI agents' drag capabilities. Our experiments show that proprietary GUI agents still struggle on ScreenDrag (e.g. Operator scores 13.27, and the best Gemini-2.5-CUA reaches 22.18). In contrast, ShowUI-π achieves 26.98 with only 450M parameters, underscoring both the difficulty of the task and the effectiveness of our approach. We hope this work advances GUI agents toward human-like dexterous control in digital world. The code is available at https://github.com/showlab/showui-pi.