SOTOPIA-π: Aprendizado Interativo de Agentes de Linguagem Socialmente Inteligentes

SOTOPIA-π: Interactive Learning of Socially Intelligent Language Agents

March 13, 2024

Autores: Ruiyi Wang, Haofei Yu, Wenxin Zhang, Zhengyang Qi, Maarten Sap, Graham Neubig, Yonatan Bisk, Hao Zhu

cs.AI

Resumo

Os seres humanos aprendem habilidades sociais tanto por imitação quanto por interação social. Esse processo de aprendizado social é amplamente pouco estudado pelas pesquisas existentes sobre a construção de agentes de linguagem. Motivados por essa lacuna, propomos um método de aprendizado interativo, SOTOPIA-pi, que melhora a inteligência social de agentes de linguagem. Esse método aproveita a clonagem de comportamento e o treinamento de autorreforço em dados de interação social filtrados de acordo com avaliações de modelos de linguagem de grande escala (LLMs). Demonstramos que nosso método de treinamento permite que um LLM de 7B alcance a capacidade de conclusão de metas sociais de um modelo especialista (agente baseado em GPT-4), ao mesmo tempo em que melhora a segurança dos agentes de linguagem e mantém a capacidade geral de resposta a perguntas no benchmark MMLU. Também descobrimos que esse paradigma de treinamento revela algumas dificuldades na avaliação baseada em LLMs da inteligência social: os avaliadores baseados em LLMs superestimam as habilidades dos agentes de linguagem treinados especificamente para interação social.

English

Humans learn social skills through both imitation and social interaction. This social learning process is largely understudied by existing research on building language agents. Motivated by this gap, we propose an interactive learning method, SOTOPIA-pi, improving the social intelligence of language agents. This method leverages behavior cloning and self-reinforcement training on filtered social interaction data according to large language model (LLM) ratings. We show that our training method allows a 7B LLM to reach the social goal completion ability of an expert model (GPT-4-based agent), while improving the safety of language agents and maintaining general QA ability on the MMLU benchmark. We also find that this training paradigm uncovers some difficulties in LLM-based evaluation of social intelligence: LLM-based evaluators overestimate the abilities of the language agents trained specifically for social interaction.