OmniParser für rein visionären GUI-Agenten

OmniParser for Pure Vision Based GUI Agent

August 1, 2024

Autoren: Yadong Lu, Jianwei Yang, Yelong Shen, Ahmed Awadallah

cs.AI

Zusammenfassung

Der jüngste Erfolg großer Sprach- und Bildmodelle zeigt ein großes Potenzial für die Steuerung des Agentensystems, das auf Benutzeroberflächen arbeitet. Wir argumentieren jedoch, dass die Leistung von multimodalen Modellen wie GPT-4V als allgemeiner Agent auf verschiedenen Betriebssystemen und in verschiedenen Anwendungen weitgehend unterschätzt wird, aufgrund des Mangels an einer robusten Bildschirmanalysetechnik, die in der Lage ist: 1) Interaktive Symbole innerhalb der Benutzeroberfläche zuverlässig zu identifizieren und 2) die Semantik verschiedener Elemente in einem Bildschirmfoto zu verstehen und die beabsichtigte Aktion genau mit dem entsprechenden Bereich auf dem Bildschirm zu verknüpfen. Um diese Lücken zu schließen, stellen wir OmniParser vor, eine umfassende Methode zur Analyse von Benutzeroberflächenbildern in strukturierte Elemente, die die Fähigkeit von GPT-4V erheblich verbessert, Aktionen zu generieren, die genau im entsprechenden Bereich der Benutzeroberfläche verankert werden können. Wir haben zunächst einen Datensatz zur Erkennung interaktiver Symbole unter Verwendung beliebter Webseiten und eines Datensatzes zur Beschreibung von Symbolen zusammengestellt. Diese Datensätze wurden verwendet, um spezialisierte Modelle zu feinabstimmen: ein Erkennungsmodell zur Analyse interaktiver Bereiche auf dem Bildschirm und ein Beschreibungsmodell zur Extraktion der funktionalen Semantik der erkannten Elemente. OmniParser verbessert signifikant die Leistung von GPT-4V im ScreenSpot-Benchmark. Und im Mind2Web- und AITW-Benchmark übertrifft OmniParser mit ausschließlichem Bildschirmeingang die GPT-4V-Baselines, die zusätzliche Informationen außerhalb des Bildschirms erfordern.

English

The recent success of large vision language models shows great potential in driving the agent system operating on user interfaces. However, we argue that the power multimodal models like GPT-4V as a general agent on multiple operating systems across different applications is largely underestimated due to the lack of a robust screen parsing technique capable of: 1) reliably identifying interactable icons within the user interface, and 2) understanding the semantics of various elements in a screenshot and accurately associate the intended action with the corresponding region on the screen. To fill these gaps, we introduce OmniParser, a comprehensive method for parsing user interface screenshots into structured elements, which significantly enhances the ability of GPT-4V to generate actions that can be accurately grounded in the corresponding regions of the interface. We first curated an interactable icon detection dataset using popular webpages and an icon description dataset. These datasets were utilized to fine-tune specialized models: a detection model to parse interactable regions on the screen and a caption model to extract the functional semantics of the detected elements. OmniParser significantly improves GPT-4V's performance on ScreenSpot benchmark. And on Mind2Web and AITW benchmark, OmniParser with screenshot only input outperforms the GPT-4V baselines requiring additional information outside of screenshot.