Ferret-UI: Fundiertes Verständnis von mobiler Benutzeroberfläche mit multimodalen LLMs

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

April 8, 2024

Autoren: Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) waren bemerkenswert, dennoch zeigen diese allgemeinen MLLMs oft Schwächen in ihrer Fähigkeit, Benutzeroberflächen (UI) effektiv zu verstehen und mit ihnen zu interagieren. In diesem Artikel präsentieren wir Ferret-UI, ein neues MLLM, das speziell für ein verbessertes Verständnis von mobilen UI-Bildschirmen entwickelt wurde und über Verweis-, Verankerungs- und Argumentationsfähigkeiten verfügt. Da UI-Bildschirme in der Regel ein längliches Seitenverhältnis aufweisen und kleinere interessante Objekte (z. B. Symbole, Texte) enthalten als natürliche Bilder, integrieren wir "beliebige Auflösung" auf Ferret, um Details zu vergrößern und verbesserte visuelle Merkmale zu nutzen. Konkret wird jeder Bildschirm basierend auf dem ursprünglichen Seitenverhältnis in 2 Teilbilder unterteilt (horizontale Unterteilung für Hochformatbildschirme und vertikale Unterteilung für Querformatbildschirme). Beide Teilbilder werden separat codiert, bevor sie an die LLMs gesendet werden. Wir sammeln sorgfältig Trainingsdaten aus einer umfangreichen Palette von grundlegenden UI-Aufgaben, wie z. B. Symbolerkennung, Textsuche und Widget-Listung. Diese Daten werden für die Anweisungsverfolgung mit Regionsannotationen formatiert, um präzise Verweise und Verankerungen zu erleichtern. Um die Argumentationsfähigkeit des Modells zu verbessern, erstellen wir zusätzlich einen Datensatz für fortgeschrittene Aufgaben, einschließlich detaillierter Beschreibungen, Wahrnehmungs-/Interaktionsgespräche und Funktionsinferenz. Nach dem Training auf den kuratierten Datensätzen zeigt Ferret-UI ein herausragendes Verständnis von UI-Bildschirmen und die Fähigkeit, offene Anweisungen auszuführen. Zur Modellbewertung etablieren wir einen umfassenden Benchmark, der alle zuvor genannten Aufgaben umfasst. Ferret-UI übertrifft nicht nur die meisten Open-Source-UI-MLLMs, sondern übertrifft auch GPT-4V in allen grundlegenden UI-Aufgaben.

English

Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this paper, we present Ferret-UI, a new MLLM tailored for enhanced understanding of mobile UI screens, equipped with referring, grounding, and reasoning capabilities. Given that UI screens typically exhibit a more elongated aspect ratio and contain smaller objects of interest (e.g., icons, texts) than natural images, we incorporate "any resolution" on top of Ferret to magnify details and leverage enhanced visual features. Specifically, each screen is divided into 2 sub-images based on the original aspect ratio (i.e., horizontal division for portrait screens and vertical division for landscape screens). Both sub-images are encoded separately before being sent to LLMs. We meticulously gather training samples from an extensive range of elementary UI tasks, such as icon recognition, find text, and widget listing. These samples are formatted for instruction-following with region annotations to facilitate precise referring and grounding. To augment the model's reasoning ability, we further compile a dataset for advanced tasks, including detailed description, perception/interaction conversations, and function inference. After training on the curated datasets, Ferret-UI exhibits outstanding comprehension of UI screens and the capability to execute open-ended instructions. For model evaluation, we establish a comprehensive benchmark encompassing all the aforementioned tasks. Ferret-UI excels not only beyond most open-source UI MLLMs, but also surpasses GPT-4V on all the elementary UI tasks.