SOTOPIA-π: Apprendimento Interattivo di Agenti Linguistici Socialmente Intelligenti

SOTOPIA-π: Interactive Learning of Socially Intelligent Language Agents

March 13, 2024

Autori: Ruiyi Wang, Haofei Yu, Wenxin Zhang, Zhengyang Qi, Maarten Sap, Graham Neubig, Yonatan Bisk, Hao Zhu

cs.AI

Abstract

Gli esseri umani apprendono le abilità sociali sia attraverso l'imitazione che l'interazione sociale. Questo processo di apprendimento sociale è ampiamente sottostudiato dalla ricerca esistente sulla costruzione di agenti linguistici. Motivati da questa lacuna, proponiamo un metodo di apprendimento interattivo, SOTOPIA-pi, che migliora l'intelligenza sociale degli agenti linguistici. Questo metodo sfrutta il clonaggio comportamentale e l'addestramento di auto-rinforzo su dati di interazione sociale filtrati in base alle valutazioni di modelli linguistici di grandi dimensioni (LLM). Dimostriamo che il nostro metodo di addestramento consente a un LLM da 7B di raggiungere la capacità di completamento degli obiettivi sociali di un modello esperto (agente basato su GPT-4), migliorando al contempo la sicurezza degli agenti linguistici e mantenendo la capacità generale di risposta alle domande sul benchmark MMLU. Troviamo inoltre che questo paradigma di addestramento rivela alcune difficoltà nella valutazione dell'intelligenza sociale basata su LLM: i valutatori basati su LLM sovrastimano le capacità degli agenti linguistici addestrati specificamente per l'interazione sociale.

English

Humans learn social skills through both imitation and social interaction. This social learning process is largely understudied by existing research on building language agents. Motivated by this gap, we propose an interactive learning method, SOTOPIA-pi, improving the social intelligence of language agents. This method leverages behavior cloning and self-reinforcement training on filtered social interaction data according to large language model (LLM) ratings. We show that our training method allows a 7B LLM to reach the social goal completion ability of an expert model (GPT-4-based agent), while improving the safety of language agents and maintaining general QA ability on the MMLU benchmark. We also find that this training paradigm uncovers some difficulties in LLM-based evaluation of social intelligence: LLM-based evaluators overestimate the abilities of the language agents trained specifically for social interaction.