Ein Zero-Shot-Sprachagent für die Computersteuerung mit strukturierter Reflexion

A Zero-Shot Language Agent for Computer Control with Structured Reflection

October 12, 2023

Autoren: Tao Li, Gang Li, Zhiwei Deng, Bryan Wang, Yang Li

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben eine zunehmende Fähigkeit gezeigt, ein übergeordnetes Ziel in einer aktiven Computerumgebung (z. B. MiniWoB++) zu planen und auszuführen. Um eine Aufgabe zu erfüllen, erfordern aktuelle Arbeiten oft, dass ein Modell aus Beispielabläufen der Aufgabe lernt, entweder durch überwachtes Lernen oder durch Few-/Many-Shot-Prompting. Ohne diese Beispielabläufe bleibt es eine Herausforderung, wie ein Agent autonom lernen und seine Kontrolle über einen Computer verbessern kann, was die Fähigkeit eines Agents einschränkt, eine neue Aufgabe auszuführen. Wir nähern uns diesem Problem mit einem Zero-Shot-Agenten, der keine vorgegebenen Expertenabläufe benötigt. Unser Agent plant ausführbare Aktionen in einer teilweise beobachteten Umgebung und schreitet iterativ bei einer Aufgabe voran, indem er seine Fehler durch Selbstreflexion und strukturiertes Gedankenmanagement identifiziert und daraus lernt. Bei den einfachen Aufgaben von MiniWoB++ zeigen wir, dass unser Zero-Shot-Agent oft die aktuellen State-of-the-Art-Modelle übertrifft, mit effizienterer Argumentation. Bei komplexeren Aufgaben schneidet unser reflektierender Agent genauso gut ab wie die bisher besten Modelle, obwohl frühere Arbeiten den Vorteil hatten, auf Expertenabläufe oder zusätzliche Bildschirminformationen zugreifen zu können.

English

Large language models (LLMs) have shown increasing capacity at planning and executing a high-level goal in a live computer environment (e.g. MiniWoB++). To perform a task, recent works often require a model to learn from trace examples of the task via either supervised learning or few/many-shot prompting. Without these trace examples, it remains a challenge how an agent can autonomously learn and improve its control on a computer, which limits the ability of an agent to perform a new task. We approach this problem with a zero-shot agent that requires no given expert traces. Our agent plans for executable actions on a partially observed environment, and iteratively progresses a task by identifying and learning from its mistakes via self-reflection and structured thought management. On the easy tasks of MiniWoB++, we show that our zero-shot agent often outperforms recent SoTAs, with more efficient reasoning. For tasks with more complexity, our reflective agent performs on par with prior best models, even though previous works had the advantages of accessing expert traces or additional screen information.