책임감 있는 작업 자동화: 대형 언어 모델을 책임감 있는 작업 자동화 도구로 활용하기

Responsible Task Automation: Empowering Large Language Models as Responsible Task Automators

June 2, 2023

저자: Zhizheng Zhang, Xiaoyi Zhang, Wenxuan Xie, Yan Lu

cs.AI

초록

최근 대형 언어 모델(LLMs)의 성공은 인공 일반 지능(AGI)으로의 인상적인 진전을 의미합니다. 이 모델들은 사용자 지시에 따라 작업을 자동으로 완료하는 유망한 전망을 보여주며, 뇌와 같은 조정자 역할을 하고 있습니다. 그러나 점점 더 많은 작업을 기계에 위임하여 자동화함에 따라 관련된 위험이 드러날 것입니다. 여기서 중요한 질문이 제기됩니다: 개인 코파일럿으로서 인간의 작업 자동화를 돕는 기계가 책임감 있게 행동하도록 만드는 방법은 무엇인가? 본 논문에서는 이 질문을 실현 가능성, 완전성, 보안의 관점에서 깊이 있게 탐구합니다. 구체적으로, 우리는 책임감 있는 작업 자동화(ResponsibleTA)를 LLM 기반 조정자와 실행자 간의 책임감 있는 협업을 촉진하는 기본 프레임워크로 제시하며, 세 가지 강화된 기능을 포함합니다: 1) 실행자에 대한 명령의 실현 가능성 예측; 2) 실행자의 완전성 검증; 3) 보안 강화(예: 사용자 프라이버시 보호). 또한, 우리는 처음 두 가지 기능을 구현하기 위한 두 가지 패러다임을 제안하고 비교합니다. 하나는 프롬프트 엔지니어링을 통해 LLM 자체의 일반 지식을 활용하는 것이고, 다른 하나는 도메인 특화 학습 가능 모델을 채택하는 것입니다. 더 나아가, 우리는 세 번째 기능을 달성하기 위한 로컬 메모리 메커니즘을 소개합니다. 우리는 제안된 ResponsibleTA를 UI 작업 자동화에서 평가하고, 이를 통해 다양한 시나리오에서 LLM이 더 책임감 있게 행동하도록 하는 데 더 많은 관심이 쏠리기를 바랍니다. 본 연구 프로젝트 홈페이지는 https://task-automation-research.github.io/responsible_task_automation에서 확인할 수 있습니다.

English

The recent success of Large Language Models (LLMs) signifies an impressive stride towards artificial general intelligence. They have shown a promising prospect in automatically completing tasks upon user instructions, functioning as brain-like coordinators. The associated risks will be revealed as we delegate an increasing number of tasks to machines for automated completion. A big question emerges: how can we make machines behave responsibly when helping humans automate tasks as personal copilots? In this paper, we explore this question in depth from the perspectives of feasibility, completeness and security. In specific, we present Responsible Task Automation (ResponsibleTA) as a fundamental framework to facilitate responsible collaboration between LLM-based coordinators and executors for task automation with three empowered capabilities: 1) predicting the feasibility of the commands for executors; 2) verifying the completeness of executors; 3) enhancing the security (e.g., the protection of users' privacy). We further propose and compare two paradigms for implementing the first two capabilities. One is to leverage the generic knowledge of LLMs themselves via prompt engineering while the other is to adopt domain-specific learnable models. Moreover, we introduce a local memory mechanism for achieving the third capability. We evaluate our proposed ResponsibleTA on UI task automation and hope it could bring more attentions to ensuring LLMs more responsible in diverse scenarios. The research project homepage is at https://task-automation-research.github.io/responsible_task_automation.