SOTOPIA-π : Apprentissage interactif d'agents linguistiques socialement intelligents

SOTOPIA-π: Interactive Learning of Socially Intelligent Language Agents

March 13, 2024

papers.authors: Ruiyi Wang, Haofei Yu, Wenxin Zhang, Zhengyang Qi, Maarten Sap, Graham Neubig, Yonatan Bisk, Hao Zhu

cs.AI

papers.abstract

Les humains acquièrent des compétences sociales à la fois par imitation et par interaction sociale. Ce processus d'apprentissage social est largement sous-étudié dans les recherches existantes sur la création d'agents linguistiques. Motivés par cette lacune, nous proposons une méthode d'apprentissage interactif, SOTOPIA-pi, visant à améliorer l'intelligence sociale des agents linguistiques. Cette méthode exploite le clonage comportemental et l'auto-renforcement sur des données d'interaction sociale filtrées selon les évaluations d'un grand modèle de langage (LLM). Nous démontrons que notre méthode d'entraînement permet à un LLM de 7B d'atteindre la capacité de réalisation d'objectifs sociaux d'un modèle expert (agent basé sur GPT-4), tout en améliorant la sécurité des agents linguistiques et en maintenant leurs performances générales sur le benchmark MMLU. Nous constatons également que ce paradigme d'entraînement révèle certaines difficultés dans l'évaluation de l'intelligence sociale basée sur les LLM : les évaluateurs basés sur les LLM surestiment les capacités des agents linguistiques spécifiquement entraînés pour l'interaction sociale.

English

Humans learn social skills through both imitation and social interaction. This social learning process is largely understudied by existing research on building language agents. Motivated by this gap, we propose an interactive learning method, SOTOPIA-pi, improving the social intelligence of language agents. This method leverages behavior cloning and self-reinforcement training on filtered social interaction data according to large language model (LLM) ratings. We show that our training method allows a 7B LLM to reach the social goal completion ability of an expert model (GPT-4-based agent), while improving the safety of language agents and maintaining general QA ability on the MMLU benchmark. We also find that this training paradigm uncovers some difficulties in LLM-based evaluation of social intelligence: LLM-based evaluators overestimate the abilities of the language agents trained specifically for social interaction.