InfiGUIAgent: Мультимодальный генералистский агент GUI с встроенным рассуждением и отражением.

InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection

January 8, 2025

Авторы: Yuhang Liu, Pengxiang Li, Zishu Wei, Congkai Xie, Xueyu Hu, Xinchen Xu, Shengyu Zhang, Xiaotian Han, Hongxia Yang, Fei Wu

cs.AI

Аннотация

Агенты графического пользовательского интерфейса (GUI), оснащенные мультимодальными большими языковыми моделями (MLLM), показали большой потенциал для автоматизации задач на вычислительных устройствах, таких как компьютеры и мобильные телефоны. Однако существующие агенты сталкиваются с вызовами в многоэтапном рассуждении и зависимости от текстовых аннотаций, что ограничивает их эффективность. Мы представляем InfiGUIAgent, агента GUI на основе MLLM, обученного с использованием двухэтапного процесса обучения с учителем. Этап 1 улучшает основные навыки, такие как понимание GUI и закрепление, в то время как этап 2 интегрирует иерархическое рассуждение и рассуждение на основе ожиданий-отражения, используя синтезированные данные для обеспечения встроенных рассуждений агентов. InfiGUIAgent достигает конкурентоспособной производительности на нескольких бенчмарках GUI, подчеркивая влияние встроенных навыков рассуждения на улучшение взаимодействия с GUI для задач автоматизации. Ресурсы доступны по адресу https://github.com/Reallm-Labs/InfiGUIAgent.

English

Graphical User Interface (GUI) Agents, powered by multimodal large language models (MLLMs), have shown great potential for task automation on computing devices such as computers and mobile phones. However, existing agents face challenges in multi-step reasoning and reliance on textual annotations, limiting their effectiveness. We introduce InfiGUIAgent, an MLLM-based GUI Agent trained with a two-stage supervised fine-tuning pipeline. Stage 1 enhances fundamental skills such as GUI understanding and grounding, while Stage 2 integrates hierarchical reasoning and expectation-reflection reasoning skills using synthesized data to enable native reasoning abilities of the agents. InfiGUIAgent achieves competitive performance on several GUI benchmarks, highlighting the impact of native reasoning skills in enhancing GUI interaction for automation tasks. Resources are available at https://github.com/Reallm-Labs/InfiGUIAgent.