Relatório Técnico UI-Venus: Construindo Agentes de Interface de Usuário de Alto Desempenho com RFT

UI-Venus Technical Report: Building High-performance UI Agents with RFT

August 14, 2025

Autores: Zhangxuan Gu, Zhengwen Zeng, Zhenyu Xu, Xingran Zhou, Shuheng Shen, Yunfei Liu, Beitong Zhou, Changhua Meng, Tianyu Xia, Weizhi Chen, Yue Wen, Jingya Dou, Fei Tang, Jinzhen Lin, Yulin Liu, Zhenlin Guo, Yichen Gong, Heng Jia, Changlong Gao, Yuan Guo, Yong Deng, Zhenyu Guo, Liang Chen, Weiqiang Wang

cs.AI

Resumo

Apresentamos o UI-Venus, um agente de interface de usuário nativo que utiliza apenas capturas de tela como entrada, baseado em um modelo de linguagem multimodal de grande escala. O UI-Venus alcança desempenho de estado da arte (SOTA) tanto em tarefas de ancoragem de UI quanto de navegação, utilizando apenas algumas centenas de milhares de amostras de treinamento de alta qualidade por meio de ajuste fino por reforço (RFT) baseado no Qwen2.5-VL. Especificamente, as variantes de 7B e 72B do UI-Venus obtêm 94,1% / 50,8% e 95,3% / 61,9% nos benchmarks padrão de ancoragem, ou seja, Screenspot-V2 / Pro, superando as linhas de base SOTA anteriores, incluindo o GTA1 de código aberto e o UI-TARS-1.5 de código fechado. Para demonstrar a capacidade de resumo e planejamento do UI-Venus, também o avaliamos no AndroidWorld, uma arena de navegação de UI online, onde nossas variantes de 7B e 72B alcançam taxas de sucesso de 49,1% e 65,9%, superando os modelos existentes. Para alcançar esses resultados, introduzimos funções de recompensa cuidadosamente projetadas para tarefas de ancoragem e navegação de UI, além de estratégias eficientes de limpeza de dados correspondentes. Para aprimorar ainda mais o desempenho de navegação, propomos o Alinhamento de Histórico de Trajetória Auto-Evolutivo e o Aprimoramento de Ações Esparsas, que refinam traços de raciocínio históricos e equilibram a distribuição de ações esparsas, porém críticas, levando a um planejamento mais coerente e melhor generalização em tarefas complexas de UI. Nossas contribuições incluem a publicação de agentes de UI de código aberto SOTA, protocolos abrangentes de limpeza de dados e uma estrutura auto-evolutiva inovadora para melhorar o desempenho de navegação, incentivando pesquisas e desenvolvimentos futuros na comunidade. O código está disponível em https://github.com/antgroup/UI-Venus.

English

We present UI-Venus, a native UI agent that takes only screenshots as input based on a multimodal large language model. UI-Venus achieves SOTA performance on both UI grounding and navigation tasks using only several hundred thousand high-quality training samples through reinforcement finetune (RFT) based on Qwen2.5-VL. Specifically, the 7B and 72B variants of UI-Venus obtain 94.1% / 50.8% and 95.3% / 61.9% on the standard grounding benchmarks, i.e., Screenspot-V2 / Pro, surpassing the previous SOTA baselines including open-source GTA1 and closed-source UI-TARS-1.5.To show UI-Venus's summary and planing ability, we also evaluate it on the AndroidWorld, an online UI navigation arena, on which our 7B and 72B variants achieve 49.1% and 65.9% success rate, also beating existing models.To achieve this, we introduce carefully designed reward functions for both UI grounding and navigation tasks and corresponding efficient data cleaning strategies.To further boost navigation performance, we propose Self-Evolving Trajectory History Alignment \& Sparse Action Enhancement that refine historical reasoning traces and balances the distribution of sparse but critical actions, leading to more coherent planning and better generalization in complex UI tasks. Our contributions include the publish of SOTA open-source UI agents, comprehensive data cleaning protocols and a novel self-evolving framework for improving navigation performance, which encourage further research and development in the community. Code is available at https://github.com/antgroup/UI-Venus.