CoAct-1: Computer-nutzende Agenten mit Kodierung als Aktionen

papers.abstract

Autonome Agenten, die Computer über grafische Benutzeroberflächen (GUIs) steuern, haben oft mit Effizienz und Zuverlässigkeit bei komplexen, langfristigen Aufgaben zu kämpfen. Während die Erweiterung dieser Agenten um Planer die Aufgabenzerlegung verbessern kann, bleiben sie durch die inhärenten Einschränkungen des Ausführens aller Aktionen über GUI-Manipulation eingeschränkt, was zu Brüchigkeit und Ineffizienz führt. In dieser Arbeit stellen wir ein robusteres und flexibleres Paradigma vor: die Befähigung von Agenten, Programmierung als erweiterte Aktion zu nutzen. Wir präsentieren CoAct-1, ein neuartiges Multi-Agenten-System, das GUI-basierte Steuerung mit direkter programmatischer Ausführung synergetisch kombiniert. CoAct-1 verfügt über einen Orchestrator, der dynamisch Teilaufgaben entweder einem konventionellen GUI-Operator oder einem spezialisierten Programmierer-Agenten zuweist, der Python- oder Bash-Skripte schreiben und ausführen kann. Dieser hybride Ansatz ermöglicht es dem Agenten, ineffiziente GUI-Aktionssequenzen für Aufgaben wie Dateiverwaltung und Datenverarbeitung zu umgehen, während er bei Bedarf weiterhin visuelle Interaktion nutzt. Wir evaluieren unser System auf dem anspruchsvollen OSWorld-Benchmark, wo CoAct-1 eine neue Bestmarke von 60,76 % Erfolgsrate erreicht und damit bisherige Methoden deutlich übertrifft. Darüber hinaus verbessert unser Ansatz die Effizienz erheblich und reduziert die durchschnittliche Anzahl der Schritte zur Aufgabenerledigung auf nur 10,15, verglichen mit 15 bei führenden GUI-Agenten. Unsere Ergebnisse zeigen, dass die Integration von Programmierung als Kernaktion einen leistungsfähigeren, effizienteren und skalierbareren Weg zur allgemeinen Computerautomatisierung bietet.

English

Autonomous agents that operate computers via Graphical User Interfaces (GUIs) often struggle with efficiency and reliability on complex, long-horizon tasks. While augmenting these agents with planners can improve task decomposition, they remain constrained by the inherent limitations of performing all actions through GUI manipulation, leading to brittleness and inefficiency. In this work, we introduce a more robust and flexible paradigm: enabling agents to use coding as a enhanced action. We present CoAct-1, a novel multi-agent system that synergistically combines GUI-based control with direct programmatic execution. CoAct-1 features an Orchestrator that dynamically delegates subtasks to either a conventional GUI Operator or a specialized Programmer agent, which can write and execute Python or Bash scripts. This hybrid approach allows the agent to bypass inefficient GUI action sequences for tasks like file management and data processing, while still leveraging visual interaction when necessary. We evaluate our system on the challenging OSWorld benchmark, where CoAct-1 achieves a new state-of-the-art success rate of 60.76%, significantly outperforming prior methods. Furthermore, our approach dramatically improves efficiency, reducing the average number of steps required to complete a task to just 10.15, compared to 15 for leading GUI agents. Our results demonstrate that integrating coding as a core action provides a more powerful, efficient, and scalable path toward generalized computer automation.

CoAct-1: Computer-nutzende Agenten mit Kodierung als Aktionen

CoAct-1: Computer-using Agents with Coding as Actions

papers.abstract

Support