Agentes de API vs. Agentes de GUI: Divergência e Convergência

API Agents vs. GUI Agents: Divergence and Convergence

March 14, 2025

Autores: Chaoyun Zhang, Shilin He, Liqun Li, Si Qin, Yu Kang, Qingwei Lin, Dongmei Zhang

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) evoluíram além da simples geração de texto para alimentar agentes de software que traduzem diretamente comandos em linguagem natural em ações tangíveis. Embora os agentes LLM baseados em API tenham inicialmente ganhado destaque por suas robustas capacidades de automação e integração perfeita com endpoints programáticos, os recentes avanços na pesquisa de LLMs multimodais permitiram o surgimento de agentes LLM baseados em GUI que interagem com interfaces gráficas de usuário de maneira semelhante à humana. Embora esses dois paradigmas compartilhem o objetivo de permitir a automação de tarefas impulsionada por LLMs, eles divergem significativamente em complexidade arquitetônica, fluxos de desenvolvimento e modelos de interação com o usuário. Este artigo apresenta o primeiro estudo comparativo abrangente de agentes LLM baseados em API e GUI, analisando sistematicamente suas divergências e potenciais convergências. Examinamos dimensões-chave e destacamos cenários em que abordagens híbridas podem aproveitar seus pontos fortes complementares. Ao propor critérios claros de decisão e ilustrar casos de uso práticos, nosso objetivo é orientar profissionais e pesquisadores na seleção, combinação ou transição entre esses paradigmas. Por fim, indicamos que as inovações contínuas na automação baseada em LLMs estão prestes a desfazer as fronteiras entre agentes orientados por API e GUI, abrindo caminho para soluções mais flexíveis e adaptáveis em uma ampla gama de aplicações do mundo real.

English

Large language models (LLMs) have evolved beyond simple text generation to power software agents that directly translate natural language commands into tangible actions. While API-based LLM agents initially rose to prominence for their robust automation capabilities and seamless integration with programmatic endpoints, recent progress in multimodal LLM research has enabled GUI-based LLM agents that interact with graphical user interfaces in a human-like manner. Although these two paradigms share the goal of enabling LLM-driven task automation, they diverge significantly in architectural complexity, development workflows, and user interaction models. This paper presents the first comprehensive comparative study of API-based and GUI-based LLM agents, systematically analyzing their divergence and potential convergence. We examine key dimensions and highlight scenarios in which hybrid approaches can harness their complementary strengths. By proposing clear decision criteria and illustrating practical use cases, we aim to guide practitioners and researchers in selecting, combining, or transitioning between these paradigms. Ultimately, we indicate that continuing innovations in LLM-based automation are poised to blur the lines between API- and GUI-driven agents, paving the way for more flexible, adaptive solutions in a wide range of real-world applications.