UI-Venus-2 技術レポート

要旨

マルチモーダルGUIエージェントは、デジタルタスク自動化の有望なパラダイムとして登場してきたが、限られた環境カバレッジ、脆弱なタスク構築、および信頼性の低い報酬検証のために、ベンチマーク指向モデルから信頼できる実世界アプリケーションへの移行は依然として困難である。本研究では、統合された閉ループ推論・行動フレームワークを通じて、モバイル、ウェブ、デスクトップ環境を横断して動作するように設計された汎用基盤GUIエージェントであるUI-Venus-2を提案する。実用的展開に向けたギャップを埋めるため、我々は以下の3つの重要な次元を同時に拡張する。(1) 環境：カバレッジを170以上の多言語モバイルアプリとネイティブデスクトップオペレーティングシステムに拡大する。(2) タスク：関数に基づく命令生成のためのディープリサーチパイプラインを採用する。(3) 検証：トレーニングのための信頼性の高いRLシグナルを確保するために、視覚的キーポイントとマルチモデル投票を用いたトレースレベルおよびサンプルレベルの評価器を採用する。さらに、重大な影響を伴うアクションの制御された実行を確保するために、安全性を考慮したメカニズムを統合する。高性能で効率的かつオープンソースの基盤を提供することにより、UI-Venus-2は、実世界アプリケーションのためのより汎用的で、検証可能かつ自己内省的なエージェントに向けて、この分野を前進させる。

English

Multimodal GUI agents have emerged as a promising paradigm for digital task automation, yet transitioning from benchmark-oriented models to dependable real-world applications remains challenging due to limited environment coverage, brittle task construction, and unreliable reward verification. In this work, we present UI-Venus-2, a general-purpose foundation GUI agent designed to operate across mobile, web, and desktop environments through a unified closed-loop reasoning-action framework. To bridge the gap toward practical deployment, we jointly scale three critical dimensions: (1) Environments, expanding coverage to more than 170 multilingual mobile apps and native desktop operating systems; (2) Tasks, employing a deep-research pipeline for function-grounded instruction generation; and (3) Verification, adopting trace-level and sample-level evaluators with visual keypoints and multi-model voting to ensure reliable RL signals for training. Furthermore, we integrate safety-aware mechanisms to ensure controlled execution of consequential actions. By offering a capable, efficient, and open-source foundation, UI-Venus-2 advances the field toward more generalizable, verifiable, and self-reflective agents for real-world applications.