Agents API vs. Agents GUI : Divergence et Convergence

API Agents vs. GUI Agents: Divergence and Convergence

March 14, 2025

Auteurs: Chaoyun Zhang, Shilin He, Liqun Li, Si Qin, Yu Kang, Qingwei Lin, Dongmei Zhang

cs.AI

Résumé

Les grands modèles de langage (LLM) ont évolué au-delà de la simple génération de texte pour alimenter des agents logiciels qui traduisent directement les commandes en langage naturel en actions tangibles. Alors que les agents LLM basés sur des API ont initialement gagné en notoriété pour leurs robustes capacités d'automatisation et leur intégration fluide avec des points d'accès programmatiques, les récents progrès dans la recherche sur les LLM multimodaux ont permis le développement d'agents LLM basés sur des interfaces graphiques (GUI) qui interagissent avec ces interfaces de manière quasi humaine. Bien que ces deux paradigmes partagent l'objectif d'automatiser des tâches via des LLM, ils divergent significativement en termes de complexité architecturale, de flux de développement et de modèles d'interaction utilisateur. Cet article présente la première étude comparative exhaustive des agents LLM basés sur des API et des GUI, analysant systématiquement leurs divergences et leur potentiel de convergence. Nous examinons les dimensions clés et mettons en lumière des scénarios dans lesquels des approches hybrides peuvent exploiter leurs forces complémentaires. En proposant des critères de décision clairs et en illustrant des cas d'utilisation pratiques, nous visons à guider les praticiens et les chercheurs dans le choix, la combinaison ou la transition entre ces paradigmes. Enfin, nous indiquons que les innovations continues dans l'automatisation basée sur les LLM sont en passe d'estomper les frontières entre les agents pilotés par API et ceux pilotés par GUI, ouvrant la voie à des solutions plus flexibles et adaptatives pour un large éventail d'applications réelles.

English

Large language models (LLMs) have evolved beyond simple text generation to power software agents that directly translate natural language commands into tangible actions. While API-based LLM agents initially rose to prominence for their robust automation capabilities and seamless integration with programmatic endpoints, recent progress in multimodal LLM research has enabled GUI-based LLM agents that interact with graphical user interfaces in a human-like manner. Although these two paradigms share the goal of enabling LLM-driven task automation, they diverge significantly in architectural complexity, development workflows, and user interaction models. This paper presents the first comprehensive comparative study of API-based and GUI-based LLM agents, systematically analyzing their divergence and potential convergence. We examine key dimensions and highlight scenarios in which hybrid approaches can harness their complementary strengths. By proposing clear decision criteria and illustrating practical use cases, we aim to guide practitioners and researchers in selecting, combining, or transitioning between these paradigms. Ultimately, we indicate that continuing innovations in LLM-based automation are poised to blur the lines between API- and GUI-driven agents, paving the way for more flexible, adaptive solutions in a wide range of real-world applications.