Agents GUI à base de grands modèles de langage : Une enquête

Large Language Model-Brained GUI Agents: A Survey

November 27, 2024

Auteurs: Chaoyun Zhang, Shilin He, Jiaxu Qian, Bowen Li, Liqun Li, Si Qin, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Résumé

Les interfaces graphiques utilisateur (GUI) ont longtemps été au cœur de l'interaction homme-machine, offrant un moyen intuitif et visuel d'accéder et d'interagir avec des systèmes numériques. L'avènement des LLM, en particulier des modèles multimodaux, a ouvert une nouvelle ère d'automatisation des GUI. Ils ont démontré des capacités exceptionnelles en compréhension du langage naturel, génération de code et traitement visuel. Cela a ouvert la voie à une nouvelle génération d'agents GUI à base de LLM capables d'interpréter des éléments GUI complexes et d'exécuter autonomement des actions basées sur des instructions en langage naturel. Ces agents représentent un changement de paradigme, permettant aux utilisateurs d'accomplir des tâches complexes en plusieurs étapes grâce à des commandes conversationnelles simples. Leurs applications s'étendent à la navigation web, aux interactions avec les applications mobiles et à l'automatisation des bureaux, offrant une expérience utilisateur transformative qui révolutionne la manière dont les individus interagissent avec les logiciels. Ce domaine émergent progresse rapidement, avec des avancées significatives tant dans la recherche que dans l'industrie. Pour fournir une compréhension structurée de cette tendance, cet article présente une enquête approfondie sur les agents GUI à base de LLM, explorant leur évolution historique, leurs composants principaux et leurs techniques avancées. Nous abordons des questions de recherche telles que les cadres existants des agents GUI, la collecte et l'utilisation de données pour former des agents GUI spécialisés, le développement de grands modèles d'actions adaptés aux tâches GUI, et les métriques d'évaluation et les référentiels nécessaires pour évaluer leur efficacité. De plus, nous examinons les applications émergentes alimentées par ces agents. Grâce à une analyse détaillée, cette enquête identifie les lacunes de recherche clés et esquisse une feuille de route pour les avancées futures dans le domaine. En consolidant les connaissances fondamentales et les développements de pointe, ce travail vise à guider à la fois les chercheurs et les praticiens dans la résolution des défis et le déblocage du plein potentiel des agents GUI à base de LLM.

English

GUIs have long been central to human-computer interaction, providing an intuitive and visually-driven way to access and interact with digital systems. The advent of LLMs, particularly multimodal models, has ushered in a new era of GUI automation. They have demonstrated exceptional capabilities in natural language understanding, code generation, and visual processing. This has paved the way for a new generation of LLM-brained GUI agents capable of interpreting complex GUI elements and autonomously executing actions based on natural language instructions. These agents represent a paradigm shift, enabling users to perform intricate, multi-step tasks through simple conversational commands. Their applications span across web navigation, mobile app interactions, and desktop automation, offering a transformative user experience that revolutionizes how individuals interact with software. This emerging field is rapidly advancing, with significant progress in both research and industry. To provide a structured understanding of this trend, this paper presents a comprehensive survey of LLM-brained GUI agents, exploring their historical evolution, core components, and advanced techniques. We address research questions such as existing GUI agent frameworks, the collection and utilization of data for training specialized GUI agents, the development of large action models tailored for GUI tasks, and the evaluation metrics and benchmarks necessary to assess their effectiveness. Additionally, we examine emerging applications powered by these agents. Through a detailed analysis, this survey identifies key research gaps and outlines a roadmap for future advancements in the field. By consolidating foundational knowledge and state-of-the-art developments, this work aims to guide both researchers and practitioners in overcoming challenges and unlocking the full potential of LLM-brained GUI agents.