Ответственная автоматизация задач: Наделение крупных языковых моделей способностью к ответственному выполнению задач

Responsible Task Automation: Empowering Large Language Models as Responsible Task Automators

June 2, 2023

Авторы: Zhizheng Zhang, Xiaoyi Zhang, Wenxuan Xie, Yan Lu

cs.AI

Аннотация

Недавний успех крупных языковых моделей (LLM) знаменует собой впечатляющий шаг на пути к искусственному общему интеллекту. Они продемонстрировали многообещающие перспективы в автоматическом выполнении задач на основе пользовательских инструкций, функционируя как мозгоподобные координаторы. Сопутствующие риски станут очевидными по мере того, как мы будем делегировать всё больше задач машинам для автоматизированного выполнения. Возникает важный вопрос: как сделать так, чтобы машины вели себя ответственно, помогая людям автоматизировать задачи в роли персональных помощников? В данной статье мы подробно исследуем этот вопрос с точки зрения осуществимости, полноты и безопасности. В частности, мы представляем Ответственную Автоматизацию Задач (ResponsibleTA) как фундаментальную структуру, способствующую ответственному взаимодействию между координаторами и исполнителями на основе LLM для автоматизации задач с тремя ключевыми возможностями: 1) прогнозирование осуществимости команд для исполнителей; 2) проверка полноты исполнителей; 3) повышение безопасности (например, защита конфиденциальности пользователей). Мы также предлагаем и сравниваем две парадигмы для реализации первых двух возможностей. Одна из них заключается в использовании общих знаний самих LLM через инженерное проектирование запросов, а другая — в применении специализированных обучаемых моделей. Кроме того, мы вводим механизм локальной памяти для достижения третьей возможности. Мы оцениваем нашу предложенную ResponsibleTA на примере автоматизации задач пользовательского интерфейса и надеемся, что это привлечёт больше внимания к обеспечению ответственности LLM в различных сценариях. Домашняя страница исследовательского проекта доступна по адресу https://task-automation-research.github.io/responsible_task_automation.

English

The recent success of Large Language Models (LLMs) signifies an impressive stride towards artificial general intelligence. They have shown a promising prospect in automatically completing tasks upon user instructions, functioning as brain-like coordinators. The associated risks will be revealed as we delegate an increasing number of tasks to machines for automated completion. A big question emerges: how can we make machines behave responsibly when helping humans automate tasks as personal copilots? In this paper, we explore this question in depth from the perspectives of feasibility, completeness and security. In specific, we present Responsible Task Automation (ResponsibleTA) as a fundamental framework to facilitate responsible collaboration between LLM-based coordinators and executors for task automation with three empowered capabilities: 1) predicting the feasibility of the commands for executors; 2) verifying the completeness of executors; 3) enhancing the security (e.g., the protection of users' privacy). We further propose and compare two paradigms for implementing the first two capabilities. One is to leverage the generic knowledge of LLMs themselves via prompt engineering while the other is to adopt domain-specific learnable models. Moreover, we introduce a local memory mechanism for achieving the third capability. We evaluate our proposed ResponsibleTA on UI task automation and hope it could bring more attentions to ensuring LLMs more responsible in diverse scenarios. The research project homepage is at https://task-automation-research.github.io/responsible_task_automation.