InfiGUIAgent: Een multimodale generalistische GUI-agent met native redenering en reflectie

InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection

January 8, 2025

Auteurs: Yuhang Liu, Pengxiang Li, Zishu Wei, Congkai Xie, Xueyu Hu, Xinchen Xu, Shengyu Zhang, Xiaotian Han, Hongxia Yang, Fei Wu

cs.AI

Samenvatting

Grafische gebruikersinterface (GUI) Agents, aangedreven door multimodale grote taalmodellen (MLLM's), hebben een groot potentieel laten zien voor taakautomatisering op rekenapparaten zoals computers en mobiele telefoons. Bestaande agents worden echter geconfronteerd met uitdagingen op het gebied van meerstapsredenering en afhankelijkheid van tekstuele annotaties, wat hun effectiviteit beperkt. We introduceren InfiGUIAgent, een op MLLM gebaseerde GUI Agent die is getraind met een tweefasig gesuperviseerd fijnafstemmingsproces. Fase 1 verbetert fundamentele vaardigheden zoals GUI begrip en gronding, terwijl Fase 2 hiërarchisch redeneren en verwachtingsreflectie redeneervaardigheden integreert met behulp van gesynthetiseerde data om de natuurlijke redeneervaardigheden van de agents mogelijk te maken. InfiGUIAgent behaalt een concurrerende prestatie op verschillende GUI-benchmarks, waarbij de impact van natuurlijke redeneervaardigheden bij het verbeteren van GUI-interactie voor automatiseringstaken wordt benadrukt. Bronnen zijn beschikbaar op https://github.com/Reallm-Labs/InfiGUIAgent.

English

Graphical User Interface (GUI) Agents, powered by multimodal large language models (MLLMs), have shown great potential for task automation on computing devices such as computers and mobile phones. However, existing agents face challenges in multi-step reasoning and reliance on textual annotations, limiting their effectiveness. We introduce InfiGUIAgent, an MLLM-based GUI Agent trained with a two-stage supervised fine-tuning pipeline. Stage 1 enhances fundamental skills such as GUI understanding and grounding, while Stage 2 integrates hierarchical reasoning and expectation-reflection reasoning skills using synthesized data to enable native reasoning abilities of the agents. InfiGUIAgent achieves competitive performance on several GUI benchmarks, highlighting the impact of native reasoning skills in enhancing GUI interaction for automation tasks. Resources are available at https://github.com/Reallm-Labs/InfiGUIAgent.