Leggere Ovunque Indicato: Lettura Consapevole del Layout delle Interfacce Grafiche con il Modello Tree-of-Lens Grounding
Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding
June 27, 2024
Autori: Yue Fan, Lei Ding, Ching-Chen Kuo, Shan Jiang, Yang Zhao, Xinze Guan, Jie Yang, Yi Zhang, Xin Eric Wang
cs.AI
Abstract
Le interfacce grafiche utente (GUI) sono centrali nella nostra interazione con i dispositivi digitali. Recentemente, sono stati compiuti crescenti sforzi per costruire modelli per vari compiti di comprensione delle GUI. Tuttavia, questi sforzi trascurano in gran parte un importante compito relativo alle GUI: la lettura dello schermo basata su punti indicati dall'utente, che noi denominiamo Screen Point-and-Read (SPR). Questo compito è gestito prevalentemente da strumenti rigidi di lettura dello schermo accessibili, che hanno un forte bisogno di nuovi modelli guidati dai progressi nei Modelli Linguistici Multimodali di Grande Scala (MLLMs). In questo articolo, proponiamo un agente Tree-of-Lens (ToL), che utilizza un nuovo meccanismo di grounding ToL, per affrontare il compito SPR. Basandosi sulle coordinate del punto di input e sullo screenshot corrispondente della GUI, il nostro agente ToL costruisce un Albero di Layout Gerarchico. Sulla base di questo albero, il nostro agente ToL non solo comprende il contenuto dell'area indicata, ma articola anche il layout e le relazioni spaziali tra gli elementi. Tali informazioni sul layout sono cruciali per interpretare accuratamente le informazioni sullo schermo, distinguendo il nostro agente ToL da altri strumenti di lettura dello schermo. Valutiamo inoltre approfonditamente l'agente ToL rispetto ad altre baseline su un nuovo benchmark SPR proposto, che include GUI da sistemi mobili, web e operativi. Ultimo ma non meno importante, testiamo l'agente ToL su compiti di navigazione GUI mobile, dimostrando la sua utilità nell'identificare azioni errate lungo il percorso delle traiettorie di esecuzione dell'agente. Codice e dati: screen-point-and-read.github.io
English
Graphical User Interfaces (GUIs) are central to our interaction with digital
devices. Recently, growing efforts have been made to build models for various
GUI understanding tasks. However, these efforts largely overlook an important
GUI-referring task: screen reading based on user-indicated points, which we
name the Screen Point-and-Read (SPR) task. This task is predominantly handled
by rigid accessible screen reading tools, in great need of new models driven by
advancements in Multimodal Large Language Models (MLLMs). In this paper, we
propose a Tree-of-Lens (ToL) agent, utilizing a novel ToL grounding mechanism,
to address the SPR task. Based on the input point coordinate and the
corresponding GUI screenshot, our ToL agent constructs a Hierarchical Layout
Tree. Based on the tree, our ToL agent not only comprehends the content of the
indicated area but also articulates the layout and spatial relationships
between elements. Such layout information is crucial for accurately
interpreting information on the screen, distinguishing our ToL agent from other
screen reading tools. We also thoroughly evaluate the ToL agent against other
baselines on a newly proposed SPR benchmark, which includes GUIs from mobile,
web, and operating systems. Last but not least, we test the ToL agent on mobile
GUI navigation tasks, demonstrating its utility in identifying incorrect
actions along the path of agent execution trajectories. Code and data:
screen-point-and-read.github.io