Grote taalmodel-gestuurde GUI-agenten: Een overzicht

Large Language Model-Brained GUI Agents: A Survey

November 27, 2024

Auteurs: Chaoyun Zhang, Shilin He, Jiaxu Qian, Bowen Li, Liqun Li, Si Qin, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Samenvatting

GUI's zijn al lange tijd essentieel voor mens-computerinteractie, waarbij ze een intuïtieve en visueel gestuurde manier bieden om toegang te krijgen tot en te communiceren met digitale systemen. De opkomst van LLM's, met name multimodale modellen, heeft een nieuw tijdperk van GUI-automatisering ingeluid. Ze hebben uitzonderlijke capaciteiten aangetoond op het gebied van natuurlijke taalbegrip, codegeneratie en visuele verwerking. Dit heeft de weg vrijgemaakt voor een nieuwe generatie LLM-gestuurde GUI-agenten die in staat zijn complexe GUI-elementen te interpreteren en autonoom acties uit te voeren op basis van natuurlijke taalinstructies. Deze agenten vertegenwoordigen een paradigmaverschuiving, waardoor gebruikers ingewikkelde, meerstaps taken kunnen uitvoeren via eenvoudige conversatieopdrachten. Hun toepassingen strekken zich uit over webnavigatie, mobiele app-interacties en desktopautomatisering, en bieden een transformerende gebruikerservaring die de manier waarop individuen met software omgaan revolutioneert. Dit opkomende vakgebied maakt snelle vooruitgang, met aanzienlijke vooruitgang zowel in onderzoek als in de industrie. Om een gestructureerd inzicht te bieden in deze trend, presenteert dit artikel een uitgebreid overzicht van LLM-gestuurde GUI-agenten, waarbij hun historische evolutie, kerncomponenten en geavanceerde technieken worden verkend. We behandelen onderzoeksvragen zoals bestaande GUI-agentframeworks, de verzameling en het gebruik van gegevens voor het trainen van gespecialiseerde GUI-agenten, de ontwikkeling van grote actiemodellen op maat voor GUI-taken, en de evaluatiemetrics en benchmarks die nodig zijn om hun effectiviteit te beoordelen. Daarnaast onderzoeken we opkomende toepassingen aangedreven door deze agenten. Via een gedetailleerde analyse identificeert dit overzicht belangrijke onderzoeksleemtes en schetst het een routekaart voor toekomstige ontwikkelingen op dit gebied. Door fundamentele kennis en state-of-the-art ontwikkelingen te consolideren, beoogt dit werk zowel onderzoekers als beoefenaars te begeleiden bij het overwinnen van uitdagingen en het ontsluiten van het volledige potentieel van LLM-gestuurde GUI-agenten.

English

GUIs have long been central to human-computer interaction, providing an intuitive and visually-driven way to access and interact with digital systems. The advent of LLMs, particularly multimodal models, has ushered in a new era of GUI automation. They have demonstrated exceptional capabilities in natural language understanding, code generation, and visual processing. This has paved the way for a new generation of LLM-brained GUI agents capable of interpreting complex GUI elements and autonomously executing actions based on natural language instructions. These agents represent a paradigm shift, enabling users to perform intricate, multi-step tasks through simple conversational commands. Their applications span across web navigation, mobile app interactions, and desktop automation, offering a transformative user experience that revolutionizes how individuals interact with software. This emerging field is rapidly advancing, with significant progress in both research and industry. To provide a structured understanding of this trend, this paper presents a comprehensive survey of LLM-brained GUI agents, exploring their historical evolution, core components, and advanced techniques. We address research questions such as existing GUI agent frameworks, the collection and utilization of data for training specialized GUI agents, the development of large action models tailored for GUI tasks, and the evaluation metrics and benchmarks necessary to assess their effectiveness. Additionally, we examine emerging applications powered by these agents. Through a detailed analysis, this survey identifies key research gaps and outlines a roadmap for future advancements in the field. By consolidating foundational knowledge and state-of-the-art developments, this work aims to guide both researchers and practitioners in overcoming challenges and unlocking the full potential of LLM-brained GUI agents.