GUI vs. CLI: Ausführungsengpässe bei rein bildschirmbasierten und fertigkeitsvermittelten Computer-Nutzungs-Agenten

Zusammenfassung

Computer-Nutzungsagenten können Software-Aufgaben entweder über grafische Schnittstellen oder programmatische Befehlsschnittstellen ausführen, jedoch vermischen bestehende Evaluierungen die Interaktionsmodalität mit Unterschieden in Aufgaben, Ausgangszuständen, Verifizierern und zulässigen Aktionen. Wir führen einen abgestimmten Benchmark auf Ausführungsebene mit 440 Desktop-Aufgaben über 18 Anwendungen und 12 Workflow-Kategorien ein, bei dem rein bildschirmbasierte GUI-Agenten und fähigkeitsvermittelte CLI-Agenten identische Ziele, Zustände und Endzustandsverifizierer erhalten, während sie auf modalitätsspezifische Aktionen beschränkt sind. In dieser kontrollierten Umgebung erreicht der stärkste GUI-Agent eine volle Erfolgsquote von 59,1 % und übertrifft damit den stärksten originären Fähigkeiten-CLI-Agenten mit 48,2 %; jedoch erhöht verifizierergesteuerte Fähigkeitserweiterung den CLI-Erfolg auf 69,3 %, was zeigt, dass das CLI-Defizit größtenteils auf unvollständige Fähigkeitenabdeckung und nicht allein auf die Modellfähigkeit zurückzuführen ist. Diese Ergebnisse deuten darauf hin, dass GUI und CLI unterschiedliche Ausführungsengpässe offenlegen: GUI-Agenten werden durch zuverlässige fundierte Interaktion über langfristige Workflows begrenzt, während CLI-Agenten durch die Abdeckung und Skalierbarkeit ihrer Fähigkeitsschnittstellen eingeschränkt werden.

English

Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.