Технический отчет Phi-Ground: Развитие восприятия в задачах интерпретации графических интерфейсов

Аннотация

С развитием моделей мультимодального рассуждения агенты компьютерного использования (Computer Use Agents, CUAs), подобные Джарвису из "Железного человека", становятся реальностью. Основание на графическом интерфейсе (GUI grounding) является ключевым компонентом для выполнения CUAs реальных действий, аналогично механическому управлению в робототехнике, и напрямую определяет успех или провал системы. Оно определяет такие действия, как клики и ввод текста, а также связанные параметры, например координаты кликов. Современные сквозные модели основания всё ещё демонстрируют точность менее 65\% на сложных тестах, таких как ScreenSpot-pro и UI-Vision, что указывает на их недостаточную готовность к внедрению. В данной работе мы проводим эмпирическое исследование обучения моделей основания, рассматривая детали от сбора данных до обучения модели. В итоге мы разработали семейство моделей Phi-Ground, которое достигает наилучших результатов на всех пяти тестах основания для моделей с менее чем 10 миллиардами параметров в настройках агента. В сквозной настройке модели наша модель также демонстрирует наилучшие результаты с показателями \textbf{43.2} на ScreenSpot-pro и \textbf{27.2} на UI-Vision. Мы считаем, что различные детали, обсуждаемые в этой статье, а также наши успехи и неудачи не только проясняют построение моделей основания, но и приносят пользу другим задачам восприятия. Домашняя страница проекта: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

English

With the development of multimodal reasoning models, Computer Use Agents (CUAs), akin to Jarvis from "Iron Man", are becoming a reality. GUI grounding is a core component for CUAs to execute actual actions, similar to mechanical control in robotics, and it directly leads to the success or failure of the system. It determines actions such as clicking and typing, as well as related parameters like the coordinates for clicks. Current end-to-end grounding models still achieve less than 65\% accuracy on challenging benchmarks like ScreenSpot-pro and UI-Vision, indicating they are far from being ready for deployment. % , as a single misclick can result in unacceptable consequences. In this work, we conduct an empirical study on the training of grounding models, examining details from data collection to model training. Ultimately, we developed the Phi-Ground model family, which achieves state-of-the-art performance across all five grounding benchmarks for models under 10B parameters in agent settings. In the end-to-end model setting, our model still achieves SOTA results with scores of \textbf{43.2} on ScreenSpot-pro and \textbf{27.2} on UI-Vision. We believe that the various details discussed in this paper, along with our successes and failures, not only clarify the construction of grounding models but also benefit other perception tasks. Project homepage: https://zhangmiaosen2000.github.io/Phi-Ground/{https://zhangmiaosen2000.github.io/Phi-Ground/}

Технический отчет Phi-Ground: Развитие восприятия в задачах интерпретации графических интерфейсов

Phi-Ground Tech Report: Advancing Perception in GUI Grounding

Аннотация

Support