UI-Venus Technisch Rapport: Het bouwen van hoogwaardige UI-agents met RFT

UI-Venus Technical Report: Building High-performance UI Agents with RFT

August 14, 2025

Auteurs: Zhangxuan Gu, Zhengwen Zeng, Zhenyu Xu, Xingran Zhou, Shuheng Shen, Yunfei Liu, Beitong Zhou, Changhua Meng, Tianyu Xia, Weizhi Chen, Yue Wen, Jingya Dou, Fei Tang, Jinzhen Lin, Yulin Liu, Zhenlin Guo, Yichen Gong, Heng Jia, Changlong Gao, Yuan Guo, Yong Deng, Zhenyu Guo, Liang Chen, Weiqiang Wang

cs.AI

Samenvatting

We presenteren UI-Venus, een native UI-agent die alleen schermafbeeldingen als invoer gebruikt, gebaseerd op een multimodaal groot taalmodel. UI-Venus behaalt state-of-the-art (SOTA) prestaties op zowel UI-gronding- als navigatietaken met slechts enkele honderdduizend hoogwaardige trainingsvoorbeelden via reinforcement finetuning (RFT) gebaseerd op Qwen2.5-VL. Specifiek behalen de 7B- en 72B-varianten van UI-Venus respectievelijk 94,1% / 50,8% en 95,3% / 61,9% op de standaard gronding benchmarks, namelijk Screenspot-V2 / Pro, waarmee ze de vorige SOTA-baselines overtreffen, inclusief open-source GTA1 en closed-source UI-TARS-1.5. Om het samenvattings- en planningsvermogen van UI-Venus te demonstreren, evalueren we het ook op AndroidWorld, een online UI-navigatiearena, waar onze 7B- en 72B-varianten een succespercentage van respectievelijk 49,1% en 65,9% behalen, wat eveneens de bestaande modellen overtreft. Om dit te bereiken, introduceren we zorgvuldig ontworpen beloningsfuncties voor zowel UI-gronding- als navigatietaken en bijbehorende efficiënte datacleaningstrategieën. Om de navigatieprestaties verder te verbeteren, stellen we Self-Evolving Trajectory History Alignment & Sparse Action Enhancement voor, die historische redeneersporen verfijnen en de verdeling van schaarse maar kritieke acties in evenwicht brengen, wat leidt tot coherentere planning en betere generalisatie in complexe UI-taken. Onze bijdragen omvatten de publicatie van SOTA open-source UI-agenten, uitgebreide datacleaningprotocollen en een nieuw zelf-evoluerend framework voor het verbeteren van navigatieprestaties, wat verder onderzoek en ontwikkeling in de gemeenschap stimuleert. Code is beschikbaar op https://github.com/antgroup/UI-Venus.

English

We present UI-Venus, a native UI agent that takes only screenshots as input based on a multimodal large language model. UI-Venus achieves SOTA performance on both UI grounding and navigation tasks using only several hundred thousand high-quality training samples through reinforcement finetune (RFT) based on Qwen2.5-VL. Specifically, the 7B and 72B variants of UI-Venus obtain 94.1% / 50.8% and 95.3% / 61.9% on the standard grounding benchmarks, i.e., Screenspot-V2 / Pro, surpassing the previous SOTA baselines including open-source GTA1 and closed-source UI-TARS-1.5.To show UI-Venus's summary and planing ability, we also evaluate it on the AndroidWorld, an online UI navigation arena, on which our 7B and 72B variants achieve 49.1% and 65.9% success rate, also beating existing models.To achieve this, we introduce carefully designed reward functions for both UI grounding and navigation tasks and corresponding efficient data cleaning strategies.To further boost navigation performance, we propose Self-Evolving Trajectory History Alignment \& Sparse Action Enhancement that refine historical reasoning traces and balances the distribution of sparse but critical actions, leading to more coherent planning and better generalization in complex UI tasks. Our contributions include the publish of SOTA open-source UI agents, comprehensive data cleaning protocols and a novel self-evolving framework for improving navigation performance, which encourage further research and development in the community. Code is available at https://github.com/antgroup/UI-Venus.