Lees Overal Waar Naar Gewezen Wordt: Layout-bewust GUI-schermlezen met Tree-of-Lens Grounding
Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding
June 27, 2024
Auteurs: Yue Fan, Lei Ding, Ching-Chen Kuo, Shan Jiang, Yang Zhao, Xinze Guan, Jie Yang, Yi Zhang, Xin Eric Wang
cs.AI
Samenvatting
Grafische gebruikersinterfaces (GUIs) staan centraal in onze interactie met digitale apparaten. Recentelijk zijn er steeds meer inspanningen geleverd om modellen te ontwikkelen voor diverse GUI-begriptaken. Deze inspanningen negeren echter grotendeels een belangrijke GUI-verwijzende taak: het lezen van het scherm op basis van door de gebruiker aangegeven punten, wat wij de Screen Point-and-Read (SPR)-taak noemen. Deze taak wordt voornamelijk afgehandeld door rigide toegankelijke schermleesgereedschappen, die dringend behoefte hebben aan nieuwe modellen die worden aangedreven door vooruitgang in Multimodale Grote Taalmodellen (MLLMs). In dit artikel stellen wij een Tree-of-Lens (ToL)-agent voor, die gebruikmaakt van een nieuw ToL-grondingsmechanisme, om de SPR-taak aan te pakken. Op basis van de ingevoerde puntcoördinaat en de bijbehorende GUI-schermafbeelding, construeert onze ToL-agent een Hiërarchische Lay-outboom. Op basis van deze boom begrijpt onze ToL-agent niet alleen de inhoud van het aangegeven gebied, maar verwoordt hij ook de lay-out en ruimtelijke relaties tussen elementen. Dergelijke lay-outinformatie is cruciaal voor het nauwkeurig interpreteren van informatie op het scherm, wat onze ToL-agent onderscheidt van andere schermleesgereedschappen. Wij evalueren de ToL-agent ook grondig tegenover andere basislijnen op een nieuw voorgestelde SPR-benchmark, die GUIs omvat van mobiele, web- en besturingssystemen. Last but not least testen wij de ToL-agent op mobiele GUI-navigatietaken, waarbij het nut ervan wordt aangetoond bij het identificeren van onjuiste acties langs het pad van agentuitvoeringstrajecten. Code en data: screen-point-and-read.github.io
English
Graphical User Interfaces (GUIs) are central to our interaction with digital
devices. Recently, growing efforts have been made to build models for various
GUI understanding tasks. However, these efforts largely overlook an important
GUI-referring task: screen reading based on user-indicated points, which we
name the Screen Point-and-Read (SPR) task. This task is predominantly handled
by rigid accessible screen reading tools, in great need of new models driven by
advancements in Multimodal Large Language Models (MLLMs). In this paper, we
propose a Tree-of-Lens (ToL) agent, utilizing a novel ToL grounding mechanism,
to address the SPR task. Based on the input point coordinate and the
corresponding GUI screenshot, our ToL agent constructs a Hierarchical Layout
Tree. Based on the tree, our ToL agent not only comprehends the content of the
indicated area but also articulates the layout and spatial relationships
between elements. Such layout information is crucial for accurately
interpreting information on the screen, distinguishing our ToL agent from other
screen reading tools. We also thoroughly evaluate the ToL agent against other
baselines on a newly proposed SPR benchmark, which includes GUIs from mobile,
web, and operating systems. Last but not least, we test the ToL agent on mobile
GUI navigation tasks, demonstrating its utility in identifying incorrect
actions along the path of agent execution trajectories. Code and data:
screen-point-and-read.github.io