Relatório Técnico Phi-Ground: Avanços na Percepção em Fundamentação de Interfaces Gráficas de Usuário

Resumo

Com o desenvolvimento de modelos de raciocínio multimodal, os Agentes de Uso de Computador (CUAs), semelhantes ao Jarvis de "Homem de Ferro", estão se tornando uma realidade. A fundamentação de GUI é um componente central para que os CUAs executem ações reais, semelhante ao controle mecânico na robótica, e ela determina diretamente o sucesso ou o fracasso do sistema. Ela define ações como cliques e digitação, bem como parâmetros relacionados, como as coordenadas para os cliques. Os modelos atuais de fundamentação de ponta a ponta ainda alcançam menos de 65% de precisão em benchmarks desafiadores como ScreenSpot-pro e UI-Vision, indicando que estão longe de estarem prontos para implantação. Neste trabalho, realizamos um estudo empírico sobre o treinamento de modelos de fundamentação, examinando detalhes desde a coleta de dados até o treinamento do modelo. Por fim, desenvolvemos a família de modelos Phi-Ground, que alcança desempenho de ponta em todos os cinco benchmarks de fundamentação para modelos com menos de 10B de parâmetros em configurações de agentes. Na configuração de modelo de ponta a ponta, nosso modelo ainda alcança resultados SOTA com pontuações de \textbf{43,2} no ScreenSpot-pro e \textbf{27,2} no UI-Vision. Acreditamos que os diversos detalhes discutidos neste artigo, juntamente com nossos sucessos e fracassos, não apenas esclarecem a construção de modelos de fundamentação, mas também beneficiam outras tarefas de percepção. Página do projeto: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

English

With the development of multimodal reasoning models, Computer Use Agents (CUAs), akin to Jarvis from "Iron Man", are becoming a reality. GUI grounding is a core component for CUAs to execute actual actions, similar to mechanical control in robotics, and it directly leads to the success or failure of the system. It determines actions such as clicking and typing, as well as related parameters like the coordinates for clicks. Current end-to-end grounding models still achieve less than 65\% accuracy on challenging benchmarks like ScreenSpot-pro and UI-Vision, indicating they are far from being ready for deployment. % , as a single misclick can result in unacceptable consequences. In this work, we conduct an empirical study on the training of grounding models, examining details from data collection to model training. Ultimately, we developed the Phi-Ground model family, which achieves state-of-the-art performance across all five grounding benchmarks for models under 10B parameters in agent settings. In the end-to-end model setting, our model still achieves SOTA results with scores of \textbf{43.2} on ScreenSpot-pro and \textbf{27.2} on UI-Vision. We believe that the various details discussed in this paper, along with our successes and failures, not only clarify the construction of grounding models but also benefit other perception tasks. Project homepage: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

Relatório Técnico Phi-Ground: Avanços na Percepção em Fundamentação de Interfaces Gráficas de Usuário

Phi-Ground Tech Report: Advancing Perception in GUI Grounding

Resumo

Support