SOTOPIA-π: Interactief Leren van Sociaal Intelligente Taalagenten

SOTOPIA-π: Interactive Learning of Socially Intelligent Language Agents

March 13, 2024

Auteurs: Ruiyi Wang, Haofei Yu, Wenxin Zhang, Zhengyang Qi, Maarten Sap, Graham Neubig, Yonatan Bisk, Hao Zhu

cs.AI

Samenvatting

Mensen leren sociale vaardigheden door zowel imitatie als sociale interactie. Dit sociale leerproces wordt grotendeels onderbelicht door bestaand onderzoek naar het ontwikkelen van taalagentschappen. Gemotiveerd door deze leemte stellen we een interactieve leermethode voor, SOTOPIA-pi, die de sociale intelligentie van taalagentschappen verbetert. Deze methode maakt gebruik van gedragskloontechnieken en zelfversterkende training op gefilterde sociale interactiedata volgens beoordelingen van grote taalmodellen (LLM's). We tonen aan dat onze trainingsmethode een 7B LLM in staat stelt om het vermogen tot het voltooien van sociale doelen te bereiken van een expertmodel (een op GPT-4 gebaseerd agentschap), terwijl de veiligheid van taalagentschappen wordt verbeterd en het algemene QA-vermogen op de MMLU-benchmark behouden blijft. We ontdekken ook dat dit trainingsparadigma enkele moeilijkheden blootlegt in LLM-gebaseerde evaluatie van sociale intelligentie: LLM-gebaseerde beoordelaars overschatten de vaardigheden van de taalagentschappen die specifiek zijn getraind voor sociale interactie.

English

Humans learn social skills through both imitation and social interaction. This social learning process is largely understudied by existing research on building language agents. Motivated by this gap, we propose an interactive learning method, SOTOPIA-pi, improving the social intelligence of language agents. This method leverages behavior cloning and self-reinforcement training on filtered social interaction data according to large language model (LLM) ratings. We show that our training method allows a 7B LLM to reach the social goal completion ability of an expert model (GPT-4-based agent), while improving the safety of language agents and maintaining general QA ability on the MMLU benchmark. We also find that this training paradigm uncovers some difficulties in LLM-based evaluation of social intelligence: LLM-based evaluators overestimate the abilities of the language agents trained specifically for social interaction.