責任あるタスク自動化：大規模言語モデルを責任あるタスク自動化者として強化する

Responsible Task Automation: Empowering Large Language Models as Responsible Task Automators

June 2, 2023

著者: Zhizheng Zhang, Xiaoyi Zhang, Wenxuan Xie, Yan Lu

cs.AI

要旨

大規模言語モデル（LLMs）の最近の成功は、人工汎用知能に向けた印象的な進歩を示しています。これらは、ユーザーの指示に基づいてタスクを自動的に完了する有望な可能性を示し、脳のようなコーディネーターとして機能しています。しかし、私たちがますます多くのタスクを機械に委任して自動化するにつれて、関連するリスクが明らかになるでしょう。大きな疑問が浮上します：パーソナルコパイロットとして人間のタスク自動化を支援する際に、機械が責任ある行動をとるようにするにはどうすればよいでしょうか？本論文では、この疑問を実現可能性、完全性、セキュリティの観点から深く探求します。具体的には、責任あるタスク自動化（ResponsibleTA）を基本的なフレームワークとして提示し、LLMベースのコーディネーターとエグゼキューターの間で責任ある協力を促進するための3つの強化された能力を提供します：1）エグゼキューターに対するコマンドの実現可能性を予測する、2）エグゼキューターの完全性を検証する、3）セキュリティ（例：ユーザーのプライバシー保護）を強化する。さらに、最初の2つの能力を実装するための2つのパラダイムを提案し、比較します。1つはプロンプトエンジニアリングを介してLLMs自体の汎用知識を活用する方法、もう1つはドメイン固有の学習可能なモデルを採用する方法です。また、3番目の能力を達成するためのローカルメモリメカニズムを導入します。提案したResponsibleTAをUIタスク自動化で評価し、多様なシナリオでLLMsがより責任ある行動をとることを確保するためのさらなる注目を集めることを期待しています。研究プロジェクトのホームページはhttps://task-automation-research.github.io/responsible_task_automationにあります。

English

The recent success of Large Language Models (LLMs) signifies an impressive stride towards artificial general intelligence. They have shown a promising prospect in automatically completing tasks upon user instructions, functioning as brain-like coordinators. The associated risks will be revealed as we delegate an increasing number of tasks to machines for automated completion. A big question emerges: how can we make machines behave responsibly when helping humans automate tasks as personal copilots? In this paper, we explore this question in depth from the perspectives of feasibility, completeness and security. In specific, we present Responsible Task Automation (ResponsibleTA) as a fundamental framework to facilitate responsible collaboration between LLM-based coordinators and executors for task automation with three empowered capabilities: 1) predicting the feasibility of the commands for executors; 2) verifying the completeness of executors; 3) enhancing the security (e.g., the protection of users' privacy). We further propose and compare two paradigms for implementing the first two capabilities. One is to leverage the generic knowledge of LLMs themselves via prompt engineering while the other is to adopt domain-specific learnable models. Moreover, we introduce a local memory mechanism for achieving the third capability. We evaluate our proposed ResponsibleTA on UI task automation and hope it could bring more attentions to ensuring LLMs more responsible in diverse scenarios. The research project homepage is at https://task-automation-research.github.io/responsible_task_automation.