Ferret-UI: Comprensión Fundamentada de Interfaces de Usuario Móviles con LLMs Multimodales

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

April 8, 2024

Autores: Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje multimodal de gran escala (MLLMs) han sido destacables; sin embargo, estos MLLMs de dominio general a menudo carecen de la capacidad para comprender e interactuar de manera efectiva con las pantallas de interfaz de usuario (UI). En este artículo, presentamos Ferret-UI, un nuevo MLLM diseñado para mejorar la comprensión de las pantallas de UI móviles, equipado con capacidades de referencia, anclaje y razonamiento. Dado que las pantallas de UI suelen exhibir una relación de aspecto más alargada y contener objetos de interés más pequeños (por ejemplo, iconos, textos) que las imágenes naturales, incorporamos una resolución "cualquiera" en Ferret para ampliar los detalles y aprovechar características visuales mejoradas. Específicamente, cada pantalla se divide en 2 subimágenes basadas en la relación de aspecto original (es decir, división horizontal para pantallas en modo retrato y división vertical para pantallas en modo apaisado). Ambas subimágenes se codifican por separado antes de ser enviadas a los LLMs. Reunimos meticulosamente muestras de entrenamiento de una amplia gama de tareas básicas de UI, como reconocimiento de iconos, búsqueda de texto y listado de widgets. Estas muestras se formatean para seguir instrucciones con anotaciones de región para facilitar la referencia y el anclaje precisos. Para aumentar la capacidad de razonamiento del modelo, compilamos además un conjunto de datos para tareas avanzadas, que incluyen descripción detallada, conversaciones de percepción/interacción e inferencia de funciones. Después del entrenamiento en los conjuntos de datos seleccionados, Ferret-UI exhibe una comprensión sobresaliente de las pantallas de UI y la capacidad de ejecutar instrucciones de formato abierto. Para la evaluación del modelo, establecemos un punto de referencia integral que abarca todas las tareas mencionadas anteriormente. Ferret-UI no solo supera a la mayoría de los MLLMs de UI de código abierto, sino que también supera a GPT-4V en todas las tareas básicas de UI.

English

Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this paper, we present Ferret-UI, a new MLLM tailored for enhanced understanding of mobile UI screens, equipped with referring, grounding, and reasoning capabilities. Given that UI screens typically exhibit a more elongated aspect ratio and contain smaller objects of interest (e.g., icons, texts) than natural images, we incorporate "any resolution" on top of Ferret to magnify details and leverage enhanced visual features. Specifically, each screen is divided into 2 sub-images based on the original aspect ratio (i.e., horizontal division for portrait screens and vertical division for landscape screens). Both sub-images are encoded separately before being sent to LLMs. We meticulously gather training samples from an extensive range of elementary UI tasks, such as icon recognition, find text, and widget listing. These samples are formatted for instruction-following with region annotations to facilitate precise referring and grounding. To augment the model's reasoning ability, we further compile a dataset for advanced tasks, including detailed description, perception/interaction conversations, and function inference. After training on the curated datasets, Ferret-UI exhibits outstanding comprehension of UI screens and the capability to execute open-ended instructions. For model evaluation, we establish a comprehensive benchmark encompassing all the aforementioned tasks. Ferret-UI excels not only beyond most open-source UI MLLMs, but also surpasses GPT-4V on all the elementary UI tasks.