Informe Técnico de UI-Venus: Construcción de Agentes de Interfaz de Usuario de Alto Rendimiento con RFT

Resumen

Presentamos UI-Venus, un agente de interfaz de usuario nativo que toma únicamente capturas de pantalla como entrada, basado en un modelo de lenguaje multimodal de gran escala. UI-Venus logra un rendimiento de vanguardia (SOTA) tanto en tareas de anclaje como de navegación en interfaces de usuario, utilizando solo varios cientos de miles de muestras de entrenamiento de alta calidad mediante un ajuste fino basado en refuerzo (RFT) sobre Qwen2.5-VL. Específicamente, las variantes de 7B y 72B de UI-Venus obtienen un 94.1% / 50.8% y un 95.3% / 61.9% en los benchmarks estándar de anclaje, es decir, Screenspot-V2 / Pro, superando a los baselines SOTA anteriores, incluyendo el modelo de código abierto GTA1 y el modelo de código cerrado UI-TARS-1.5. Para demostrar la capacidad de resumen y planificación de UI-Venus, también lo evaluamos en AndroidWorld, una arena de navegación de interfaz de usuario en línea, donde nuestras variantes de 7B y 72B logran tasas de éxito del 49.1% y 65.9%, superando también a los modelos existentes. Para lograr esto, introdujimos funciones de recompensa cuidadosamente diseñadas tanto para tareas de anclaje como de navegación, junto con estrategias eficientes de limpieza de datos correspondientes. Para mejorar aún más el rendimiento en navegación, proponemos la Alineación de Historial de Trayectorias Autoevolutiva y la Mejora de Acciones Dispersas, que refinan los rastros de razonamiento histórico y equilibran la distribución de acciones dispersas pero críticas, lo que conduce a una planificación más coherente y una mejor generalización en tareas complejas de interfaz de usuario. Nuestras contribuciones incluyen la publicación de agentes de interfaz de usuario de código abierto SOTA, protocolos integrales de limpieza de datos y un marco novedoso de autoevolución para mejorar el rendimiento en navegación, lo que fomenta una mayor investigación y desarrollo en la comunidad. El código está disponible en https://github.com/antgroup/UI-Venus.

English

We present UI-Venus, a native UI agent that takes only screenshots as input based on a multimodal large language model. UI-Venus achieves SOTA performance on both UI grounding and navigation tasks using only several hundred thousand high-quality training samples through reinforcement finetune (RFT) based on Qwen2.5-VL. Specifically, the 7B and 72B variants of UI-Venus obtain 94.1% / 50.8% and 95.3% / 61.9% on the standard grounding benchmarks, i.e., Screenspot-V2 / Pro, surpassing the previous SOTA baselines including open-source GTA1 and closed-source UI-TARS-1.5.To show UI-Venus's summary and planing ability, we also evaluate it on the AndroidWorld, an online UI navigation arena, on which our 7B and 72B variants achieve 49.1% and 65.9% success rate, also beating existing models.To achieve this, we introduce carefully designed reward functions for both UI grounding and navigation tasks and corresponding efficient data cleaning strategies.To further boost navigation performance, we propose Self-Evolving Trajectory History Alignment \& Sparse Action Enhancement that refine historical reasoning traces and balances the distribution of sparse but critical actions, leading to more coherent planning and better generalization in complex UI tasks. Our contributions include the publish of SOTA open-source UI agents, comprehensive data cleaning protocols and a novel self-evolving framework for improving navigation performance, which encourage further research and development in the community. Code is available at https://github.com/antgroup/UI-Venus.

Informe Técnico de UI-Venus: Construcción de Agentes de Interfaz de Usuario de Alto Rendimiento con RFT

UI-Venus Technical Report: Building High-performance UI Agents with RFT

Resumen

Support