Читай везде указано: Адаптивное считывание экрана GUI с учетом макета с помощью дерева линз. Основы.

Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding

June 27, 2024

Авторы: Yue Fan, Lei Ding, Ching-Chen Kuo, Shan Jiang, Yang Zhao, Xinze Guan, Jie Yang, Yi Zhang, Xin Eric Wang

cs.AI

Аннотация

Графические пользовательские интерфейсы (GUI) играют центральную роль в нашем взаимодействии с цифровыми устройствами. Недавно были предприняты усилия по созданию моделей для различных задач понимания GUI. Однако эти усилия в значительной степени не учитывают важную задачу, связанную с GUI: чтение экрана на основе указанных пользователем точек, которую мы называем задачей "Точка-и-Чтение Экрана" (SPR). Эта задача в основном решается жесткими инструментами доступного чтения экрана, требующими новых моделей, основанных на прогрессе в Мультимодальных Больших Языковых Моделях (MLLMs). В данной статье мы предлагаем агента "Дерево-Линза" (ToL), использующего новый механизм опоры на ToL, для решения задачи SPR. На основе входных координат точки и соответствующего снимка GUI наш агент ToL строит Иерархическое Дерево Макета. Исходя из дерева, наш агент ToL не только понимает содержимое указанной области, но и артикулирует макет и пространственные отношения между элементами. Такая информация о макете критически важна для точного интерпретирования информации на экране, что отличает нашего агента ToL от других инструментов чтения экрана. Мы также тщательно оцениваем агента ToL по сравнению с другими базовыми моделями на вновь предложенном бенчмарке SPR, который включает GUI из мобильных, веб- и операционных систем. Наконец, мы тестируем агента ToL на задачах навигации по мобильным GUI, демонстрируя его полезность в выявлении неправильных действий в ходе траекторий выполнения агента. Код и данные: screen-point-and-read.github.io

English

Graphical User Interfaces (GUIs) are central to our interaction with digital devices. Recently, growing efforts have been made to build models for various GUI understanding tasks. However, these efforts largely overlook an important GUI-referring task: screen reading based on user-indicated points, which we name the Screen Point-and-Read (SPR) task. This task is predominantly handled by rigid accessible screen reading tools, in great need of new models driven by advancements in Multimodal Large Language Models (MLLMs). In this paper, we propose a Tree-of-Lens (ToL) agent, utilizing a novel ToL grounding mechanism, to address the SPR task. Based on the input point coordinate and the corresponding GUI screenshot, our ToL agent constructs a Hierarchical Layout Tree. Based on the tree, our ToL agent not only comprehends the content of the indicated area but also articulates the layout and spatial relationships between elements. Such layout information is crucial for accurately interpreting information on the screen, distinguishing our ToL agent from other screen reading tools. We also thoroughly evaluate the ToL agent against other baselines on a newly proposed SPR benchmark, which includes GUIs from mobile, web, and operating systems. Last but not least, we test the ToL agent on mobile GUI navigation tasks, demonstrating its utility in identifying incorrect actions along the path of agent execution trajectories. Code and data: screen-point-and-read.github.io