D-Artemis: Um Framework Cognitivo Deliberativo para Multiagentes em Interfaces Gráficas Móveis
D-Artemis: A Deliberative Cognitive Framework for Mobile GUI Multi-Agents
September 26, 2025
Autores: Hongze Mi, Yibo Feng, Wenjie Lu, Yuqi Wang, Jinyuan Li, Song Cao, He Cui, Tengfei Tian, Xuelin Zhang, Haotian Luo, Di Sun, Naiqiang Tan, Gang Pan
cs.AI
Resumo
Agentes de Interface Gráfica do Usuário (GUI) visam automatizar uma ampla gama de tarefas humanas ao emular a interação do usuário. Apesar dos rápidos avanços, as abordagens atuais são limitadas por vários desafios críticos: gargalo de dados no treinamento de ponta a ponta, alto custo da detecção tardia de erros e risco de orientações contraditórias. Inspirados pelo ciclo cognitivo humano de Pensamento, Alinhamento e Reflexão, apresentamos o D-Artemis — um novo framework deliberativo neste artigo. O D-Artemis utiliza um mecanismo de recuperação de dicas específicas para aplicativos, em nível granular, para informar seu processo de tomada de decisão. Ele também emprega uma etapa proativa de Alinhamento Pré-execução, onde o módulo de Verificação de Consistência Pensamento-Ação (TAC) e o Agente de Correção de Ação (ACA) trabalham em conjunto para mitigar o risco de falhas na execução. Um Agente de Reflexão de Status (SRA) pós-execução completa o ciclo cognitivo, permitindo o aprendizado estratégico com base na experiência. Crucialmente, o D-Artemis amplia as capacidades dos modelos de linguagem multimodal de grande escala (MLLMs) de propósito geral para tarefas de GUI sem a necessidade de treinamento em conjuntos de dados complexos de trajetórias, demonstrando forte generalização. O D-Artemis estabelece novos resultados de estado da arte (SOTA) em ambos os principais benchmarks, alcançando uma taxa de sucesso de 75,8% no AndroidWorld e 96,8% no ScreenSpot-V2. Estudos abrangentes de ablação demonstram ainda a contribuição significativa de cada componente para o framework.
English
Graphical User Interface (GUI) agents aim to automate a wide spectrum of
human tasks by emulating user interaction. Despite rapid advancements, current
approaches are hindered by several critical challenges: data bottleneck in
end-to-end training, high cost of delayed error detection, and risk of
contradictory guidance. Inspired by the human cognitive loop of Thinking,
Alignment, and Reflection, we present D-Artemis -- a novel deliberative
framework in this paper. D-Artemis leverages a fine-grained, app-specific tip
retrieval mechanism to inform its decision-making process. It also employs a
proactive Pre-execution Alignment stage, where Thought-Action Consistency (TAC)
Check module and Action Correction Agent (ACA) work in concert to mitigate the
risk of execution failures. A post-execution Status Reflection Agent (SRA)
completes the cognitive loop, enabling strategic learning from experience.
Crucially, D-Artemis enhances the capabilities of general-purpose Multimodal
large language models (MLLMs) for GUI tasks without the need for training on
complex trajectory datasets, demonstrating strong generalization. D-Artemis
establishes new state-of-the-art (SOTA) results across both major benchmarks,
achieving a 75.8% success rate on AndroidWorld and 96.8% on ScreenSpot-V2.
Extensive ablation studies further demonstrate the significant contribution of
each component to the framework.