Verantwortungsvolle Aufgabenautomatisierung: Stärkung großer Sprachmodelle als verantwortungsbewusste Aufgabenautomatisierer

Responsible Task Automation: Empowering Large Language Models as Responsible Task Automators

June 2, 2023

Autoren: Zhizheng Zhang, Xiaoyi Zhang, Wenxuan Xie, Yan Lu

cs.AI

Zusammenfassung

Der jüngste Erfolg von Large Language Models (LLMs) markiert einen beeindruckenden Fortschritt in Richtung künstlicher allgemeiner Intelligenz. Sie haben ein vielversprechendes Potenzial gezeigt, Aufgaben automatisch auf Basis von Benutzeranweisungen zu erledigen und dabei als hirnähnliche Koordinatoren zu fungieren. Die damit verbundenen Risiken werden offenbar, wenn wir zunehmend mehr Aufgaben an Maschinen zur automatisierten Ausführung delegieren. Eine zentrale Frage stellt sich: Wie können wir Maschinen dazu bringen, sich verantwortungsbewusst zu verhalten, wenn sie als persönliche Copiloten Menschen bei der Automatisierung von Aufgaben unterstützen? In diesem Artikel untersuchen wir diese Frage ausführlich aus den Perspektiven der Machbarkeit, Vollständigkeit und Sicherheit. Konkret präsentieren wir Responsible Task Automation (ResponsibleTA) als ein grundlegendes Framework, das eine verantwortungsvolle Zusammenarbeit zwischen LLM-basierten Koordinatoren und Ausführenden bei der Aufgabenautomatisierung fördert, indem es drei zentrale Fähigkeiten bereitstellt: 1) die Vorhersage der Machbarkeit von Befehlen für die Ausführenden; 2) die Überprüfung der Vollständigkeit der Ausführenden; 3) die Verbesserung der Sicherheit (z. B. den Schutz der Privatsphäre der Benutzer). Wir schlagen weiterhin zwei Paradigmen zur Implementierung der ersten beiden Fähigkeiten vor und vergleichen diese. Das eine besteht darin, das generische Wissen der LLMs selbst durch Prompt Engineering zu nutzen, während das andere darin besteht, domänenspezifische lernbare Modelle zu verwenden. Darüber hinaus führen wir einen lokalen Speichermechanismus ein, um die dritte Fähigkeit zu erreichen. Wir evaluieren unser vorgeschlagenes ResponsibleTA anhand der Automatisierung von UI-Aufgaben und hoffen, dass es mehr Aufmerksamkeit darauf lenken kann, LLMs in verschiedenen Szenarien verantwortungsbewusster zu gestalten. Die Projekt-Homepage der Forschung befindet sich unter https://task-automation-research.github.io/responsible_task_automation.

English

The recent success of Large Language Models (LLMs) signifies an impressive stride towards artificial general intelligence. They have shown a promising prospect in automatically completing tasks upon user instructions, functioning as brain-like coordinators. The associated risks will be revealed as we delegate an increasing number of tasks to machines for automated completion. A big question emerges: how can we make machines behave responsibly when helping humans automate tasks as personal copilots? In this paper, we explore this question in depth from the perspectives of feasibility, completeness and security. In specific, we present Responsible Task Automation (ResponsibleTA) as a fundamental framework to facilitate responsible collaboration between LLM-based coordinators and executors for task automation with three empowered capabilities: 1) predicting the feasibility of the commands for executors; 2) verifying the completeness of executors; 3) enhancing the security (e.g., the protection of users' privacy). We further propose and compare two paradigms for implementing the first two capabilities. One is to leverage the generic knowledge of LLMs themselves via prompt engineering while the other is to adopt domain-specific learnable models. Moreover, we introduce a local memory mechanism for achieving the third capability. We evaluate our proposed ResponsibleTA on UI task automation and hope it could bring more attentions to ensuring LLMs more responsible in diverse scenarios. The research project homepage is at https://task-automation-research.github.io/responsible_task_automation.