Ferret-UI: Compreensão de Interfaces de Usuário Móveis Fundamentada com LLMs Multimodais

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

April 8, 2024

Autores: Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan

cs.AI

Resumo

Os avanços recentes em modelos de linguagem multimodal de grande escala (MLLMs) têm sido notáveis, no entanto, esses MLLMs de domínio geral frequentemente falham em sua capacidade de compreender e interagir efetivamente com telas de interface do usuário (UI). Neste artigo, apresentamos o Ferret-UI, um novo MLLM projetado para aprimorar a compreensão de telas de UI móveis, equipado com capacidades de referência, ancoragem e raciocínio. Dado que as telas de UI geralmente exibem uma proporção de aspecto mais alongada e contêm objetos de interesse menores (por exemplo, ícones, textos) em comparação com imagens naturais, incorporamos a funcionalidade de "qualquer resolução" ao Ferret para ampliar detalhes e aproveitar recursos visuais aprimorados. Especificamente, cada tela é dividida em 2 subimagens com base na proporção de aspecto original (ou seja, divisão horizontal para telas em retrato e divisão vertical para telas em paisagem). Ambas as subimagens são codificadas separadamente antes de serem enviadas aos LLMs. Coletamos meticulosamente amostras de treinamento de uma ampla gama de tarefas elementares de UI, como reconhecimento de ícones, localização de texto e listagem de widgets. Essas amostras são formatadas para seguir instruções com anotações de região para facilitar a referência e ancoragem precisas. Para aumentar a capacidade de raciocínio do modelo, compilamos ainda um conjunto de dados para tarefas avançadas, incluindo descrição detalhada, conversas de percepção/interação e inferência de função. Após o treinamento nos conjuntos de dados curados, o Ferret-UI exibe uma compreensão excepcional de telas de UI e a capacidade de executar instruções abertas. Para avaliação do modelo, estabelecemos um benchmark abrangente que engloba todas as tarefas mencionadas. O Ferret-UI se destaca não apenas além da maioria dos MLLMs de UI de código aberto, mas também supera o GPT-4V em todas as tarefas elementares de UI.

English

Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this paper, we present Ferret-UI, a new MLLM tailored for enhanced understanding of mobile UI screens, equipped with referring, grounding, and reasoning capabilities. Given that UI screens typically exhibit a more elongated aspect ratio and contain smaller objects of interest (e.g., icons, texts) than natural images, we incorporate "any resolution" on top of Ferret to magnify details and leverage enhanced visual features. Specifically, each screen is divided into 2 sub-images based on the original aspect ratio (i.e., horizontal division for portrait screens and vertical division for landscape screens). Both sub-images are encoded separately before being sent to LLMs. We meticulously gather training samples from an extensive range of elementary UI tasks, such as icon recognition, find text, and widget listing. These samples are formatted for instruction-following with region annotations to facilitate precise referring and grounding. To augment the model's reasoning ability, we further compile a dataset for advanced tasks, including detailed description, perception/interaction conversations, and function inference. After training on the curated datasets, Ferret-UI exhibits outstanding comprehension of UI screens and the capability to execute open-ended instructions. For model evaluation, we establish a comprehensive benchmark encompassing all the aforementioned tasks. Ferret-UI excels not only beyond most open-source UI MLLMs, but also surpasses GPT-4V on all the elementary UI tasks.