Ferret-UI: Основанное на земле понимание мобильного пользовательского интерфейса с мультимодальными LLM.

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

April 8, 2024

Авторы: Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan

cs.AI

Аннотация

Недавние достижения в области мультимодальных больших языковых моделей (MLLM) были значительными, однако эти общедоступные MLLM часто не справляются с задачей полноценного понимания и эффективного взаимодействия с пользовательскими интерфейсами (UI). В данной статье мы представляем Ferret-UI, новую MLLM, специально разработанную для улучшенного понимания мобильных пользовательских интерфейсов, оснащенную возможностями ссылочной связи и обоснования, а также рассуждений. Учитывая, что пользовательские интерфейсы обычно имеют более вытянутое соотношение сторон и содержат меньшие объекты интереса (например, иконки, тексты) по сравнению с естественными изображениями, мы добавляем "любое разрешение" поверх Ferret для увеличения деталей и использования улучшенных визуальных характеристик. Конкретно, каждый экран делится на 2 подизображения на основе исходного соотношения сторон (горизонтальное деление для портретных экранов и вертикальное деление для альбомных экранов). Оба подизображения кодируются отдельно перед отправкой в LLM. Мы тщательно собираем обучающие выборки из широкого спектра элементарных задач пользовательского интерфейса, таких как распознавание иконок, поиск текста и перечисление виджетов. Эти выборки форматируются для последовательного выполнения инструкций с помощью аннотаций областей для облегчения точной ссылки и обоснования. Для улучшения способности модели к рассуждениям мы также составляем набор данных для продвинутых задач, включая подробное описание, беседы о восприятии/взаимодействии и вывод функций. После обучения на отобранных наборах данных Ferret-UI проявляет выдающееся понимание пользовательских интерфейсов и способность выполнять инструкции с открытым окончанием. Для оценки модели мы устанавливаем обширный бенчмарк, охватывающий все упомянутые задачи. Ferret-UI превосходит большинство общедоступных UI MLLM не только в элементарных задачах пользовательского интерфейса, но и превосходит GPT-4V во всех элементарных задачах пользовательского интерфейса.

English

Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this paper, we present Ferret-UI, a new MLLM tailored for enhanced understanding of mobile UI screens, equipped with referring, grounding, and reasoning capabilities. Given that UI screens typically exhibit a more elongated aspect ratio and contain smaller objects of interest (e.g., icons, texts) than natural images, we incorporate "any resolution" on top of Ferret to magnify details and leverage enhanced visual features. Specifically, each screen is divided into 2 sub-images based on the original aspect ratio (i.e., horizontal division for portrait screens and vertical division for landscape screens). Both sub-images are encoded separately before being sent to LLMs. We meticulously gather training samples from an extensive range of elementary UI tasks, such as icon recognition, find text, and widget listing. These samples are formatted for instruction-following with region annotations to facilitate precise referring and grounding. To augment the model's reasoning ability, we further compile a dataset for advanced tasks, including detailed description, perception/interaction conversations, and function inference. After training on the curated datasets, Ferret-UI exhibits outstanding comprehension of UI screens and the capability to execute open-ended instructions. For model evaluation, we establish a comprehensive benchmark encompassing all the aforementioned tasks. Ferret-UI excels not only beyond most open-source UI MLLMs, but also surpasses GPT-4V on all the elementary UI tasks.