Ferret-UI: Comprensione Fondata delle Interfacce Utente Mobili con Modelli Linguistici Multimodali

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

April 8, 2024

Autori: Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan

cs.AI

Abstract

I recenti progressi nei modelli linguistici multimodali di grandi dimensioni (MLLM) sono stati degni di nota, tuttavia, questi MLLM a dominio generale spesso non riescono a comprendere e interagire efficacemente con le schermate delle interfacce utente (UI). In questo articolo, presentiamo Ferret-UI, un nuovo MLLM progettato per una migliore comprensione delle schermate UI mobili, dotato di capacità di riferimento, ancoraggio e ragionamento. Dato che le schermate UI presentano tipicamente un rapporto d'aspetto più allungato e contengono oggetti di interesse più piccoli (ad esempio, icone, testi) rispetto alle immagini naturali, incorporiamo una "risoluzione qualsiasi" su Ferret per ingrandire i dettagli e sfruttare caratteristiche visive potenziate. Nello specifico, ogni schermata viene divisa in 2 sotto-immagini in base al rapporto d'aspetto originale (cioè, divisione orizzontale per schermate verticali e divisione verticale per schermate orizzontali). Entrambe le sotto-immagini vengono codificate separatamente prima di essere inviate ai modelli linguistici. Raccogliamo meticolosamente campioni di addestramento da un'ampia gamma di attività UI di base, come il riconoscimento delle icone, la ricerca di testo e l'elenco dei widget. Questi campioni sono formattati per il seguimento di istruzioni con annotazioni di regione per facilitare un riferimento e un ancoraggio precisi. Per aumentare la capacità di ragionamento del modello, compiliamo ulteriormente un dataset per attività avanzate, tra cui descrizioni dettagliate, conversazioni di percezione/interazione e inferenze di funzioni. Dopo l'addestramento sui dataset curati, Ferret-UI dimostra una comprensione eccezionale delle schermate UI e la capacità di eseguire istruzioni aperte. Per la valutazione del modello, stabiliamo un benchmark completo che comprende tutte le attività menzionate. Ferret-UI eccelle non solo rispetto alla maggior parte degli MLLM UI open-source, ma supera anche GPT-4V in tutte le attività UI di base.

English

Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this paper, we present Ferret-UI, a new MLLM tailored for enhanced understanding of mobile UI screens, equipped with referring, grounding, and reasoning capabilities. Given that UI screens typically exhibit a more elongated aspect ratio and contain smaller objects of interest (e.g., icons, texts) than natural images, we incorporate "any resolution" on top of Ferret to magnify details and leverage enhanced visual features. Specifically, each screen is divided into 2 sub-images based on the original aspect ratio (i.e., horizontal division for portrait screens and vertical division for landscape screens). Both sub-images are encoded separately before being sent to LLMs. We meticulously gather training samples from an extensive range of elementary UI tasks, such as icon recognition, find text, and widget listing. These samples are formatted for instruction-following with region annotations to facilitate precise referring and grounding. To augment the model's reasoning ability, we further compile a dataset for advanced tasks, including detailed description, perception/interaction conversations, and function inference. After training on the curated datasets, Ferret-UI exhibits outstanding comprehension of UI screens and the capability to execute open-ended instructions. For model evaluation, we establish a comprehensive benchmark encompassing all the aforementioned tasks. Ferret-UI excels not only beyond most open-source UI MLLMs, but also surpasses GPT-4V on all the elementary UI tasks.