UI-Venus技術レポート：RFTを用いた高性能UIエージェントの構築

UI-Venus Technical Report: Building High-performance UI Agents with RFT

August 14, 2025

著者: Zhangxuan Gu, Zhengwen Zeng, Zhenyu Xu, Xingran Zhou, Shuheng Shen, Yunfei Liu, Beitong Zhou, Changhua Meng, Tianyu Xia, Weizhi Chen, Yue Wen, Jingya Dou, Fei Tang, Jinzhen Lin, Yulin Liu, Zhenlin Guo, Yichen Gong, Heng Jia, Changlong Gao, Yuan Guo, Yong Deng, Zhenyu Guo, Liang Chen, Weiqiang Wang

cs.AI

要旨

我々は、マルチモーダル大規模言語モデルに基づき、スクリーンショットのみを入力とするネイティブUIエージェント「UI-Venus」を提案します。UI-Venusは、Qwen2.5-VLに基づく強化学習ファインチューニング（RFT）を通じて、わずか数十万の高品質なトレーニングサンプルを使用して、UIグラウンディングとナビゲーションタスクの両方でSOTA性能を達成します。具体的には、UI-Venusの7Bおよび72Bバリアントは、標準的なグラウンディングベンチマークであるScreenspot-V2 / Proでそれぞれ94.1% / 50.8%および95.3% / 61.9%を獲得し、オープンソースのGTA1やクローズドソースのUI-TARS-1.5を含む従来のSOTAベースラインを上回りました。UI-Venusの要約と計画能力を示すために、オンラインUIナビゲーションアリーナであるAndroidWorldでも評価を行い、7Bおよび72Bバリアントはそれぞれ49.1%および65.9%の成功率を達成し、既存のモデルを凌駕しました。これを実現するために、UIグラウンディングとナビゲーションタスクの両方に対して慎重に設計された報酬関数と、それに対応する効率的なデータクリーニング戦略を導入しました。さらにナビゲーション性能を向上させるために、歴史的推論トレースを洗練し、疎だが重要なアクションの分布をバランスさせる「Self-Evolving Trajectory History Alignment & Sparse Action Enhancement」を提案し、複雑なUIタスクにおけるより一貫した計画と優れた汎化を実現しました。我々の貢献には、SOTAオープンソースUIエージェントの公開、包括的なデータクリーニングプロトコル、およびナビゲーション性能を向上させるための新しい自己進化フレームワークが含まれ、これらはコミュニティにおけるさらなる研究と開発を促進します。コードはhttps://github.com/antgroup/UI-Venusで公開されています。

English

We present UI-Venus, a native UI agent that takes only screenshots as input based on a multimodal large language model. UI-Venus achieves SOTA performance on both UI grounding and navigation tasks using only several hundred thousand high-quality training samples through reinforcement finetune (RFT) based on Qwen2.5-VL. Specifically, the 7B and 72B variants of UI-Venus obtain 94.1% / 50.8% and 95.3% / 61.9% on the standard grounding benchmarks, i.e., Screenspot-V2 / Pro, surpassing the previous SOTA baselines including open-source GTA1 and closed-source UI-TARS-1.5.To show UI-Venus's summary and planing ability, we also evaluate it on the AndroidWorld, an online UI navigation arena, on which our 7B and 72B variants achieve 49.1% and 65.9% success rate, also beating existing models.To achieve this, we introduce carefully designed reward functions for both UI grounding and navigation tasks and corresponding efficient data cleaning strategies.To further boost navigation performance, we propose Self-Evolving Trajectory History Alignment \& Sparse Action Enhancement that refine historical reasoning traces and balances the distribution of sparse but critical actions, leading to more coherent planning and better generalization in complex UI tasks. Our contributions include the publish of SOTA open-source UI agents, comprehensive data cleaning protocols and a novel self-evolving framework for improving navigation performance, which encourage further research and development in the community. Code is available at https://github.com/antgroup/UI-Venus.