Rapport Technique Phi-Ground : Progrès dans la Perception pour l'Ancrage des Interfaces Graphiques Utilisateur

papers.abstract

Avec le développement des modèles de raisonnement multimodal, les agents d'utilisation informatique (CUA), similaires à Jarvis dans "Iron Man", deviennent une réalité. L'ancrage dans les interfaces graphiques (GUI) est un composant essentiel pour permettre aux CUA d'exécuter des actions concrètes, comparable au contrôle mécanique en robotique, et il influence directement le succès ou l'échec du système. Il détermine des actions telles que les clics et la saisie, ainsi que les paramètres associés comme les coordonnées des clics. Les modèles d'ancrage de bout en bout actuels atteignent encore moins de 65 % de précision sur des benchmarks exigeants comme ScreenSpot-pro et UI-Vision, indiquant qu'ils sont loin d'être prêts pour un déploiement. Dans ce travail, nous menons une étude empirique sur l'entraînement des modèles d'ancrage, en examinant les détails allant de la collecte des données à l'entraînement du modèle. Finalement, nous avons développé la famille de modèles Phi-Ground, qui atteint des performances de pointe sur les cinq benchmarks d'ancrage pour les modèles de moins de 10 milliards de paramètres dans des contextes d'agents. Dans le cadre des modèles de bout en bout, notre modèle obtient toujours des résultats SOTA avec des scores de \textbf{43,2} sur ScreenSpot-pro et \textbf{27,2} sur UI-Vision. Nous pensons que les divers détails discutés dans cet article, ainsi que nos succès et échecs, non seulement clarifient la construction des modèles d'ancrage, mais profitent également à d'autres tâches de perception. Page du projet : https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

English

With the development of multimodal reasoning models, Computer Use Agents (CUAs), akin to Jarvis from "Iron Man", are becoming a reality. GUI grounding is a core component for CUAs to execute actual actions, similar to mechanical control in robotics, and it directly leads to the success or failure of the system. It determines actions such as clicking and typing, as well as related parameters like the coordinates for clicks. Current end-to-end grounding models still achieve less than 65\% accuracy on challenging benchmarks like ScreenSpot-pro and UI-Vision, indicating they are far from being ready for deployment. % , as a single misclick can result in unacceptable consequences. In this work, we conduct an empirical study on the training of grounding models, examining details from data collection to model training. Ultimately, we developed the Phi-Ground model family, which achieves state-of-the-art performance across all five grounding benchmarks for models under 10B parameters in agent settings. In the end-to-end model setting, our model still achieves SOTA results with scores of \textbf{43.2} on ScreenSpot-pro and \textbf{27.2} on UI-Vision. We believe that the various details discussed in this paper, along with our successes and failures, not only clarify the construction of grounding models but also benefit other perception tasks. Project homepage: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

Rapport Technique Phi-Ground : Progrès dans la Perception pour l'Ancrage des Interfaces Graphiques Utilisateur

Phi-Ground Tech Report: Advancing Perception in GUI Grounding

papers.abstract

Support