InfiGUIAgent: Un Agente GUI Generalista Multimodal con Razonamiento y Reflexión Nativa

InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection

January 8, 2025

Autores: Yuhang Liu, Pengxiang Li, Zishu Wei, Congkai Xie, Xueyu Hu, Xinchen Xu, Shengyu Zhang, Xiaotian Han, Hongxia Yang, Fei Wu

cs.AI

Resumen

Los Agentes de Interfaz Gráfica de Usuario (GUI), impulsados por modelos de lenguaje multimodales grandes (MLLM), han demostrado un gran potencial para la automatización de tareas en dispositivos informáticos como computadoras y teléfonos móviles. Sin embargo, los agentes existentes enfrentan desafíos en el razonamiento de múltiples pasos y la dependencia de anotaciones textuales, lo que limita su efectividad. Presentamos InfiGUIAgent, un Agente GUI basado en MLLM entrenado con un proceso de ajuste fino supervisado de dos etapas. La Etapa 1 mejora habilidades fundamentales como la comprensión y el anclaje de GUI, mientras que la Etapa 2 integra razonamiento jerárquico y razonamiento de reflexión de expectativas utilizando datos sintetizados para habilitar habilidades de razonamiento nativo de los agentes. InfiGUIAgent logra un rendimiento competitivo en varios bancos de pruebas de GUI, resaltando el impacto de las habilidades de razonamiento nativo en la mejora de la interacción de GUI para tareas de automatización. Los recursos están disponibles en https://github.com/Reallm-Labs/InfiGUIAgent.

English

Graphical User Interface (GUI) Agents, powered by multimodal large language models (MLLMs), have shown great potential for task automation on computing devices such as computers and mobile phones. However, existing agents face challenges in multi-step reasoning and reliance on textual annotations, limiting their effectiveness. We introduce InfiGUIAgent, an MLLM-based GUI Agent trained with a two-stage supervised fine-tuning pipeline. Stage 1 enhances fundamental skills such as GUI understanding and grounding, while Stage 2 integrates hierarchical reasoning and expectation-reflection reasoning skills using synthesized data to enable native reasoning abilities of the agents. InfiGUIAgent achieves competitive performance on several GUI benchmarks, highlighting the impact of native reasoning skills in enhancing GUI interaction for automation tasks. Resources are available at https://github.com/Reallm-Labs/InfiGUIAgent.