Een Zero-Shot Taalagent voor Computerbesturing met Gestructureerde Reflectie

A Zero-Shot Language Agent for Computer Control with Structured Reflection

October 12, 2023

Auteurs: Tao Li, Gang Li, Zhiwei Deng, Bryan Wang, Yang Li

cs.AI

Samenvatting

Grote taalmodelen (LLMs) hebben een toenemend vermogen getoond om een hoog niveau doel te plannen en uit te voeren in een live computeromgeving (bijv. MiniWoB++). Om een taak uit te voeren, vereisen recente werken vaak dat een model leert van traceervoorbeelden van de taak via supervised learning of few/many-shot prompting. Zonder deze traceervoorbeelden blijft het een uitdaging hoe een agent autonoom kan leren en zijn controle over een computer kan verbeteren, wat het vermogen van een agent om een nieuwe taak uit te voeren beperkt. Wij benaderen dit probleem met een zero-shot agent die geen gegeven expert traces vereist. Onze agent plant uitvoerbare acties in een gedeeltelijk waargenomen omgeving en vordert iteratief in een taak door fouten te identificeren en ervan te leren via zelfreflectie en gestructureerd gedachtebeheer. Op de eenvoudige taken van MiniWoB++ laten we zien dat onze zero-shot agent vaak beter presteert dan recente state-of-the-art modellen, met efficiënter redeneren. Voor taken met meer complexiteit presteert onze reflectieve agent op hetzelfde niveau als de beste eerdere modellen, ook al hadden eerdere werken het voordeel van toegang tot expert traces of aanvullende scherminformatie.

English

Large language models (LLMs) have shown increasing capacity at planning and executing a high-level goal in a live computer environment (e.g. MiniWoB++). To perform a task, recent works often require a model to learn from trace examples of the task via either supervised learning or few/many-shot prompting. Without these trace examples, it remains a challenge how an agent can autonomously learn and improve its control on a computer, which limits the ability of an agent to perform a new task. We approach this problem with a zero-shot agent that requires no given expert traces. Our agent plans for executable actions on a partially observed environment, and iteratively progresses a task by identifying and learning from its mistakes via self-reflection and structured thought management. On the easy tasks of MiniWoB++, we show that our zero-shot agent often outperforms recent SoTAs, with more efficient reasoning. For tasks with more complexity, our reflective agent performs on par with prior best models, even though previous works had the advantages of accessing expert traces or additional screen information.