Leia em Qualquer Lugar Apontado: Leitura de Tela de GUI Consciente do Layout com Árvore-de-Lentes de Fundamentação
Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding
June 27, 2024
Autores: Yue Fan, Lei Ding, Ching-Chen Kuo, Shan Jiang, Yang Zhao, Xinze Guan, Jie Yang, Yi Zhang, Xin Eric Wang
cs.AI
Resumo
As Interfaces Gráficas de Usuário (GUIs) são centrais para nossa interação com dispositivos digitais. Recentemente, esforços crescentes têm sido feitos para construir modelos para várias tarefas de compreensão de GUI. No entanto, esses esforços em grande parte negligenciam uma importante tarefa de referência de GUI: a leitura de tela com base em pontos indicados pelo usuário, que denominamos tarefa de Pontuar e Ler na Tela (Screen Point-and-Read - SPR). Essa tarefa é predominantemente tratada por ferramentas rígidas de leitura de tela acessíveis, que carecem de novos modelos impulsionados por avanços em Modelos de Linguagem Multimodais de Grande Escala (Multimodal Large Language Models - MLLMs). Neste artigo, propomos um agente Árvore-de-Lentes (Tree-of-Lens - ToL), utilizando um mecanismo de fundamentação ToL inovador, para abordar a tarefa SPR. Com base na coordenada do ponto de entrada e na captura de tela da GUI correspondente, nosso agente ToL constrói uma Árvore de Layout Hierárquica. Com base na árvore, nosso agente ToL não apenas compreende o conteúdo da área indicada, mas também articula o layout e as relações espaciais entre os elementos. Essas informações de layout são cruciais para interpretar com precisão as informações na tela, diferenciando nosso agente ToL de outras ferramentas de leitura de tela. Também avaliamos minuciosamente o agente ToL em comparação com outras referências em um novo benchmark SPR proposto, que inclui GUIs de sistemas móveis, web e operacionais. Por fim, testamos o agente ToL em tarefas de navegação de GUI móvel, demonstrando sua utilidade na identificação de ações incorretas ao longo do trajeto das trajetórias de execução do agente. Código e dados: screen-point-and-read.github.io
English
Graphical User Interfaces (GUIs) are central to our interaction with digital
devices. Recently, growing efforts have been made to build models for various
GUI understanding tasks. However, these efforts largely overlook an important
GUI-referring task: screen reading based on user-indicated points, which we
name the Screen Point-and-Read (SPR) task. This task is predominantly handled
by rigid accessible screen reading tools, in great need of new models driven by
advancements in Multimodal Large Language Models (MLLMs). In this paper, we
propose a Tree-of-Lens (ToL) agent, utilizing a novel ToL grounding mechanism,
to address the SPR task. Based on the input point coordinate and the
corresponding GUI screenshot, our ToL agent constructs a Hierarchical Layout
Tree. Based on the tree, our ToL agent not only comprehends the content of the
indicated area but also articulates the layout and spatial relationships
between elements. Such layout information is crucial for accurately
interpreting information on the screen, distinguishing our ToL agent from other
screen reading tools. We also thoroughly evaluate the ToL agent against other
baselines on a newly proposed SPR benchmark, which includes GUIs from mobile,
web, and operating systems. Last but not least, we test the ToL agent on mobile
GUI navigation tasks, demonstrating its utility in identifying incorrect
actions along the path of agent execution trajectories. Code and data:
screen-point-and-read.github.io