Rapporto Tecnico Phi-Ground: Progressi nella Percezione per il Grounding delle Interfacce Grafiche

Abstract

Con lo sviluppo di modelli di ragionamento multimodale, gli Agenti per l'Uso del Computer (Computer Use Agents, CUAs), simili a Jarvis di "Iron Man", stanno diventando una realtà. Il grounding delle interfacce grafiche (GUI) è un componente fondamentale affinché i CUAs possano eseguire azioni concrete, analogamente al controllo meccanico nella robotica, e determina direttamente il successo o il fallimento del sistema. Esso definisce azioni come cliccare e digitare, nonché parametri correlati come le coordinate per i clic. Gli attuali modelli di grounding end-to-end raggiungono ancora un'accuratezza inferiore al 65% su benchmark impegnativi come ScreenSpot-pro e UI-Vision, indicando che sono lontani dall'essere pronti per il deployment. In questo lavoro, conduciamo uno studio empirico sull'addestramento dei modelli di grounding, esaminando i dettagli dalla raccolta dei dati al training del modello. Alla fine, abbiamo sviluppato la famiglia di modelli Phi-Ground, che raggiunge prestazioni all'avanguardia su tutti e cinque i benchmark di grounding per modelli con meno di 10 miliardi di parametri in contesti di agenti. Nel contesto dei modelli end-to-end, il nostro modello ottiene comunque risultati SOTA con punteggi di \textbf{43,2} su ScreenSpot-pro e \textbf{27,2} su UI-Vision. Crediamo che i vari dettagli discussi in questo articolo, insieme ai nostri successi e fallimenti, non solo chiariscano la costruzione dei modelli di grounding, ma siano anche utili per altre attività di percezione. Pagina del progetto: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

English

With the development of multimodal reasoning models, Computer Use Agents (CUAs), akin to Jarvis from "Iron Man", are becoming a reality. GUI grounding is a core component for CUAs to execute actual actions, similar to mechanical control in robotics, and it directly leads to the success or failure of the system. It determines actions such as clicking and typing, as well as related parameters like the coordinates for clicks. Current end-to-end grounding models still achieve less than 65\% accuracy on challenging benchmarks like ScreenSpot-pro and UI-Vision, indicating they are far from being ready for deployment. % , as a single misclick can result in unacceptable consequences. In this work, we conduct an empirical study on the training of grounding models, examining details from data collection to model training. Ultimately, we developed the Phi-Ground model family, which achieves state-of-the-art performance across all five grounding benchmarks for models under 10B parameters in agent settings. In the end-to-end model setting, our model still achieves SOTA results with scores of \textbf{43.2} on ScreenSpot-pro and \textbf{27.2} on UI-Vision. We believe that the various details discussed in this paper, along with our successes and failures, not only clarify the construction of grounding models but also benefit other perception tasks. Project homepage: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

Rapporto Tecnico Phi-Ground: Progressi nella Percezione per il Grounding delle Interfacce Grafiche

Phi-Ground Tech Report: Advancing Perception in GUI Grounding

Abstract

Support