Verantwoorde Taakautomatisering: Grote Taalmodellen Empoweren als Verantwoorde Taakautomatiseerders

Responsible Task Automation: Empowering Large Language Models as Responsible Task Automators

June 2, 2023

Auteurs: Zhizheng Zhang, Xiaoyi Zhang, Wenxuan Xie, Yan Lu

cs.AI

Samenvatting

Het recente succes van Large Language Models (LLMs) markeert een indrukwekkende stap richting kunstmatige algemene intelligentie. Ze hebben een veelbelovend perspectief getoond in het automatisch voltooien van taken op basis van gebruikersinstructies, waarbij ze functioneren als breinachtige coördinatoren. De bijbehorende risico's zullen aan het licht komen naarmate we een toenemend aantal taken aan machines delegeren voor geautomatiseerde uitvoering. Een grote vraag rijst: hoe kunnen we ervoor zorgen dat machines zich verantwoordelijk gedragen wanneer ze mensen helpen bij het automatiseren van taken als persoonlijke copilots? In dit artikel onderzoeken we deze vraag diepgaand vanuit de perspectieven van haalbaarheid, volledigheid en beveiliging. Specifiek presenteren we Responsible Task Automation (ResponsibleTA) als een fundamenteel raamwerk om verantwoorde samenwerking te faciliteren tussen LLM-gebaseerde coördinatoren en uitvoerders voor taakautomatisering met drie bekrachtigde mogelijkheden: 1) het voorspellen van de haalbaarheid van de opdrachten voor uitvoerders; 2) het verifiëren van de volledigheid van uitvoerders; 3) het verbeteren van de beveiliging (bijvoorbeeld de bescherming van de privacy van gebruikers). We stellen verder twee paradigma's voor en vergelijken deze voor de implementatie van de eerste twee mogelijkheden. Het ene is het benutten van de generieke kennis van LLMs zelf via prompt engineering, terwijl het andere het adopteren van domeinspecifieke leerbare modellen is. Bovendien introduceren we een lokaal geheugenmechanisme voor het bereiken van de derde mogelijkheid. We evalueren ons voorgestelde ResponsibleTA op UI-taakautomatisering en hopen dat het meer aandacht kan brengen voor het waarborgen van verantwoordelijk gedrag van LLMs in diverse scenario's. De homepage van het onderzoeksproject is te vinden op https://task-automation-research.github.io/responsible_task_automation.

English

The recent success of Large Language Models (LLMs) signifies an impressive stride towards artificial general intelligence. They have shown a promising prospect in automatically completing tasks upon user instructions, functioning as brain-like coordinators. The associated risks will be revealed as we delegate an increasing number of tasks to machines for automated completion. A big question emerges: how can we make machines behave responsibly when helping humans automate tasks as personal copilots? In this paper, we explore this question in depth from the perspectives of feasibility, completeness and security. In specific, we present Responsible Task Automation (ResponsibleTA) as a fundamental framework to facilitate responsible collaboration between LLM-based coordinators and executors for task automation with three empowered capabilities: 1) predicting the feasibility of the commands for executors; 2) verifying the completeness of executors; 3) enhancing the security (e.g., the protection of users' privacy). We further propose and compare two paradigms for implementing the first two capabilities. One is to leverage the generic knowledge of LLMs themselves via prompt engineering while the other is to adopt domain-specific learnable models. Moreover, we introduce a local memory mechanism for achieving the third capability. We evaluate our proposed ResponsibleTA on UI task automation and hope it could bring more attentions to ensuring LLMs more responsible in diverse scenarios. The research project homepage is at https://task-automation-research.github.io/responsible_task_automation.