OmniParser pour agent d'interface graphique basé uniquement sur la vision

OmniParser for Pure Vision Based GUI Agent

August 1, 2024

Auteurs: Yadong Lu, Jianwei Yang, Yelong Shen, Ahmed Awadallah

cs.AI

Résumé

Le récent succès des grands modèles de vision et de langage montre un potentiel considérable pour piloter les systèmes d'agents opérant sur les interfaces utilisateur. Cependant, nous soutenons que la puissance des modèles multimodaux comme GPT-4V en tant qu'agents généraux sur plusieurs systèmes d'exploitation et applications différentes est largement sous-estimée en raison de l'absence d'une technique robuste d'analyse d'écran capable de : 1) identifier de manière fiable les icônes interactives au sein de l'interface utilisateur, et 2) comprendre la sémantique des différents éléments dans une capture d'écran et associer avec précision l'action souhaitée à la région correspondante sur l'écran. Pour combler ces lacunes, nous introduisons OmniParser, une méthode complète pour analyser les captures d'écran d'interfaces utilisateur en éléments structurés, ce qui améliore significativement la capacité de GPT-4V à générer des actions pouvant être ancrées avec précision dans les régions correspondantes de l'interface. Nous avons d'abord constitué un ensemble de données de détection d'icônes interactives à partir de pages web populaires et un ensemble de données de descriptions d'icônes. Ces ensembles de données ont été utilisés pour affiner des modèles spécialisés : un modèle de détection pour analyser les régions interactives sur l'écran et un modèle de légende pour extraire la sémantique fonctionnelle des éléments détectés. OmniParser améliore significativement les performances de GPT-4V sur le benchmark ScreenSpot. Et sur les benchmarks Mind2Web et AITW, OmniParser avec uniquement une capture d'écran en entrée surpasse les performances de référence de GPT-4V nécessitant des informations supplémentaires en dehors de la capture d'écran.

English

The recent success of large vision language models shows great potential in driving the agent system operating on user interfaces. However, we argue that the power multimodal models like GPT-4V as a general agent on multiple operating systems across different applications is largely underestimated due to the lack of a robust screen parsing technique capable of: 1) reliably identifying interactable icons within the user interface, and 2) understanding the semantics of various elements in a screenshot and accurately associate the intended action with the corresponding region on the screen. To fill these gaps, we introduce OmniParser, a comprehensive method for parsing user interface screenshots into structured elements, which significantly enhances the ability of GPT-4V to generate actions that can be accurately grounded in the corresponding regions of the interface. We first curated an interactable icon detection dataset using popular webpages and an icon description dataset. These datasets were utilized to fine-tune specialized models: a detection model to parse interactable regions on the screen and a caption model to extract the functional semantics of the detected elements. OmniParser significantly improves GPT-4V's performance on ScreenSpot benchmark. And on Mind2Web and AITW benchmark, OmniParser with screenshot only input outperforms the GPT-4V baselines requiring additional information outside of screenshot.