Ferret-UI : Compréhension des interfaces utilisateur mobiles ancrée avec des LLM multimodaux

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

April 8, 2024

Auteurs: Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan

cs.AI

Résumé

Les récentes avancées dans les modèles de langage multimodaux à grande échelle (MLLMs) sont remarquables, mais ces MLLMs généralistes montrent souvent des lacunes dans leur capacité à comprendre et à interagir efficacement avec les écrans d'interface utilisateur (UI). Dans cet article, nous présentons Ferret-UI, un nouveau MLLM conçu pour une meilleure compréhension des écrans d'interface mobile, doté de capacités de référencement, d'ancrage et de raisonnement. Étant donné que les écrans d'interface présentent généralement un rapport d'aspect plus allongé et contiennent des objets d'intérêt plus petits (par exemple, des icônes, des textes) que les images naturelles, nous intégrons une fonctionnalité "toute résolution" à Ferret pour amplifier les détails et exploiter des caractéristiques visuelles améliorées. Plus précisément, chaque écran est divisé en 2 sous-images en fonction du rapport d'aspect original (c'est-à-dire une division horizontale pour les écrans en portrait et une division verticale pour les écrans en paysage). Les deux sous-images sont encodées séparément avant d'être envoyées aux LLMs. Nous collectons méticuleusement des échantillons d'entraînement à partir d'une vaste gamme de tâches élémentaires d'interface, telles que la reconnaissance d'icônes, la recherche de texte et la liste de widgets. Ces échantillons sont formatés pour suivre des instructions avec des annotations de région afin de faciliter un référencement et un ancrage précis. Pour renforcer la capacité de raisonnement du modèle, nous compilons également un ensemble de données pour des tâches avancées, incluant des descriptions détaillées, des conversations de perception/interaction et des inférences de fonction. Après entraînement sur les ensembles de données soigneusement sélectionnés, Ferret-UI démontre une compréhension exceptionnelle des écrans d'interface et la capacité à exécuter des instructions ouvertes. Pour l'évaluation du modèle, nous établissons un benchmark complet couvrant toutes les tâches mentionnées précédemment. Ferret-UI excelle non seulement au-delà de la plupart des MLLMs d'interface open-source, mais surpasse également GPT-4V sur toutes les tâches élémentaires d'interface.

English

Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this paper, we present Ferret-UI, a new MLLM tailored for enhanced understanding of mobile UI screens, equipped with referring, grounding, and reasoning capabilities. Given that UI screens typically exhibit a more elongated aspect ratio and contain smaller objects of interest (e.g., icons, texts) than natural images, we incorporate "any resolution" on top of Ferret to magnify details and leverage enhanced visual features. Specifically, each screen is divided into 2 sub-images based on the original aspect ratio (i.e., horizontal division for portrait screens and vertical division for landscape screens). Both sub-images are encoded separately before being sent to LLMs. We meticulously gather training samples from an extensive range of elementary UI tasks, such as icon recognition, find text, and widget listing. These samples are formatted for instruction-following with region annotations to facilitate precise referring and grounding. To augment the model's reasoning ability, we further compile a dataset for advanced tasks, including detailed description, perception/interaction conversations, and function inference. After training on the curated datasets, Ferret-UI exhibits outstanding comprehension of UI screens and the capability to execute open-ended instructions. For model evaluation, we establish a comprehensive benchmark encompassing all the aforementioned tasks. Ferret-UI excels not only beyond most open-source UI MLLMs, but also surpasses GPT-4V on all the elementary UI tasks.