InfiGUIAgent : Un agent GUI généraliste multimodal avec raisonnement et réflexion natifs

InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection

January 8, 2025

Auteurs: Yuhang Liu, Pengxiang Li, Zishu Wei, Congkai Xie, Xueyu Hu, Xinchen Xu, Shengyu Zhang, Xiaotian Han, Hongxia Yang, Fei Wu

cs.AI

Résumé

Les agents d'Interface Utilisateur Graphique (IUG), alimentés par des modèles linguistiques multimodaux de grande taille (MLLM), ont montré un grand potentiel pour l'automatisation des tâches sur des dispositifs informatiques tels que les ordinateurs et les téléphones mobiles. Cependant, les agents existants rencontrent des défis en matière de raisonnement multi-étapes et de dépendance aux annotations textuelles, limitant leur efficacité. Nous présentons InfiGUIAgent, un agent IUG basé sur les MLLM entraîné avec un pipeline de fine-tuning supervisé en deux étapes. La première étape améliore les compétences fondamentales telles que la compréhension de l'IUG et l'ancrage, tandis que la deuxième étape intègre un raisonnement hiérarchique et des compétences de raisonnement par réflexion sur les attentes en utilisant des données synthétisées pour permettre aux agents des capacités de raisonnement natives. InfiGUIAgent atteint des performances compétitives sur plusieurs bancs d'essai d'IUG, mettant en évidence l'impact des compétences de raisonnement natives dans l'amélioration de l'interaction IUG pour les tâches d'automatisation. Les ressources sont disponibles sur https://github.com/Reallm-Labs/InfiGUIAgent.

English

Graphical User Interface (GUI) Agents, powered by multimodal large language models (MLLMs), have shown great potential for task automation on computing devices such as computers and mobile phones. However, existing agents face challenges in multi-step reasoning and reliance on textual annotations, limiting their effectiveness. We introduce InfiGUIAgent, an MLLM-based GUI Agent trained with a two-stage supervised fine-tuning pipeline. Stage 1 enhances fundamental skills such as GUI understanding and grounding, while Stage 2 integrates hierarchical reasoning and expectation-reflection reasoning skills using synthesized data to enable native reasoning abilities of the agents. InfiGUIAgent achieves competitive performance on several GUI benchmarks, highlighting the impact of native reasoning skills in enhancing GUI interaction for automation tasks. Resources are available at https://github.com/Reallm-Labs/InfiGUIAgent.