Agenti API vs. Agenti GUI: Divergenze e Convergenze

API Agents vs. GUI Agents: Divergence and Convergence

March 14, 2025

Autori: Chaoyun Zhang, Shilin He, Liqun Li, Si Qin, Yu Kang, Qingwei Lin, Dongmei Zhang

cs.AI

Abstract

I grandi modelli linguistici (LLM) si sono evoluti oltre la semplice generazione di testi, diventando strumenti per software agenti che traducono direttamente comandi in linguaggio naturale in azioni tangibili. Sebbene gli agenti LLM basati su API abbiano inizialmente guadagnato popolarità per le loro robuste capacità di automazione e l'integrazione senza soluzione di continuità con endpoint programmatici, i recenti progressi nella ricerca sugli LLM multimodali hanno permesso lo sviluppo di agenti LLM basati su GUI che interagiscono con le interfacce grafiche in modo simile a quello umano. Sebbene questi due paradigmi condividano l'obiettivo di abilitare l'automazione di task guidata dagli LLM, divergono significativamente in termini di complessità architetturale, flussi di sviluppo e modelli di interazione con l'utente. Questo articolo presenta il primo studio comparativo completo tra agenti LLM basati su API e su GUI, analizzando sistematicamente le loro divergenze e il potenziale di convergenza. Esaminiamo dimensioni chiave e mettiamo in luce scenari in cui approcci ibridi possono sfruttare i loro punti di forza complementari. Proponendo criteri decisionali chiari e illustrando casi d'uso pratici, miriamo a guidare professionisti e ricercatori nella selezione, combinazione o transizione tra questi paradigmi. In definitiva, suggeriamo che le continue innovazioni nell'automazione basata su LLM sono destinate a sfumare i confini tra agenti guidati da API e GUI, aprendo la strada a soluzioni più flessibili e adattabili in un'ampia gamma di applicazioni del mondo reale.

English

Large language models (LLMs) have evolved beyond simple text generation to power software agents that directly translate natural language commands into tangible actions. While API-based LLM agents initially rose to prominence for their robust automation capabilities and seamless integration with programmatic endpoints, recent progress in multimodal LLM research has enabled GUI-based LLM agents that interact with graphical user interfaces in a human-like manner. Although these two paradigms share the goal of enabling LLM-driven task automation, they diverge significantly in architectural complexity, development workflows, and user interaction models. This paper presents the first comprehensive comparative study of API-based and GUI-based LLM agents, systematically analyzing their divergence and potential convergence. We examine key dimensions and highlight scenarios in which hybrid approaches can harness their complementary strengths. By proposing clear decision criteria and illustrating practical use cases, we aim to guide practitioners and researchers in selecting, combining, or transitioning between these paradigms. Ultimately, we indicate that continuing innovations in LLM-based automation are poised to blur the lines between API- and GUI-driven agents, paving the way for more flexible, adaptive solutions in a wide range of real-world applications.