Informe Técnico de Phi-Ground: Avances en la Percepción para la Fundamentación de Interfaces Gráficas de Usuario

Resumen

Con el desarrollo de modelos de razonamiento multimodal, los Agentes de Uso de Computadoras (CUAs, por sus siglas en inglés), similares a Jarvis de "Iron Man", se están convirtiendo en una realidad. La fundamentación de la Interfaz Gráfica de Usuario (GUI) es un componente central para que los CUAs ejecuten acciones reales, análogo al control mecánico en robótica, y determina directamente el éxito o el fracaso del sistema. Define acciones como hacer clic y escribir, así como parámetros relacionados, como las coordenadas para los clics. Los modelos de fundamentación de extremo a extremo actuales aún logran menos del 65\% de precisión en puntos de referencia desafiantes como ScreenSpot-pro y UI-Vision, lo que indica que están lejos de estar listos para su implementación. % , ya que un solo clic erróneo puede resultar en consecuencias inaceptables. En este trabajo, realizamos un estudio empírico sobre el entrenamiento de modelos de fundamentación, examinando detalles desde la recopilación de datos hasta el entrenamiento del modelo. Finalmente, desarrollamos la familia de modelos Phi-Ground, que alcanza un rendimiento de vanguardia en los cinco puntos de referencia de fundamentación para modelos con menos de 10B parámetros en configuraciones de agentes. En la configuración de modelo de extremo a extremo, nuestro modelo aún logra resultados SOTA con puntajes de \textbf{43.2} en ScreenSpot-pro y \textbf{27.2} en UI-Vision. Creemos que los diversos detalles discutidos en este documento, junto con nuestros éxitos y fracasos, no solo aclaran la construcción de modelos de fundamentación, sino que también benefician otras tareas de percepción. Página del proyecto: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

English

With the development of multimodal reasoning models, Computer Use Agents (CUAs), akin to Jarvis from "Iron Man", are becoming a reality. GUI grounding is a core component for CUAs to execute actual actions, similar to mechanical control in robotics, and it directly leads to the success or failure of the system. It determines actions such as clicking and typing, as well as related parameters like the coordinates for clicks. Current end-to-end grounding models still achieve less than 65\% accuracy on challenging benchmarks like ScreenSpot-pro and UI-Vision, indicating they are far from being ready for deployment. % , as a single misclick can result in unacceptable consequences. In this work, we conduct an empirical study on the training of grounding models, examining details from data collection to model training. Ultimately, we developed the Phi-Ground model family, which achieves state-of-the-art performance across all five grounding benchmarks for models under 10B parameters in agent settings. In the end-to-end model setting, our model still achieves SOTA results with scores of \textbf{43.2} on ScreenSpot-pro and \textbf{27.2} on UI-Vision. We believe that the various details discussed in this paper, along with our successes and failures, not only clarify the construction of grounding models but also benefit other perception tasks. Project homepage: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

Informe Técnico de Phi-Ground: Avances en la Percepción para la Fundamentación de Interfaces Gráficas de Usuario

Phi-Ground Tech Report: Advancing Perception in GUI Grounding

Resumen

Support