SOTOPIA-π: Aprendizaje Interactivo de Agentes de Lenguaje con Inteligencia Social
SOTOPIA-π: Interactive Learning of Socially Intelligent Language Agents
March 13, 2024
Autores: Ruiyi Wang, Haofei Yu, Wenxin Zhang, Zhengyang Qi, Maarten Sap, Graham Neubig, Yonatan Bisk, Hao Zhu
cs.AI
Resumen
Los seres humanos aprenden habilidades sociales tanto a través de la imitación como de la interacción social. Este proceso de aprendizaje social ha sido poco estudiado por las investigaciones existentes sobre la creación de agentes de lenguaje. Motivados por esta brecha, proponemos un método de aprendizaje interactivo, SOTOPIA-pi, que mejora la inteligencia social de los agentes de lenguaje. Este método aprovecha la clonación de comportamientos y el entrenamiento de autorrefuerzo en datos de interacción social filtrados según las evaluaciones de modelos de lenguaje de gran escala (LLM, por sus siglas en inglés). Demostramos que nuestro método de entrenamiento permite que un LLM de 7B alcance la capacidad de completar objetivos sociales de un modelo experto (un agente basado en GPT-4), al mismo tiempo que mejora la seguridad de los agentes de lenguaje y mantiene su capacidad general de respuesta en el benchmark MMLU. También descubrimos que este paradigma de entrenamiento revela algunas dificultades en la evaluación basada en LLM de la inteligencia social: los evaluadores basados en LLM sobrestiman las capacidades de los agentes de lenguaje entrenados específicamente para la interacción social.
English
Humans learn social skills through both imitation and social interaction.
This social learning process is largely understudied by existing research on
building language agents. Motivated by this gap, we propose an interactive
learning method, SOTOPIA-pi, improving the social intelligence of language
agents. This method leverages behavior cloning and self-reinforcement training
on filtered social interaction data according to large language model (LLM)
ratings. We show that our training method allows a 7B LLM to reach the social
goal completion ability of an expert model (GPT-4-based agent), while improving
the safety of language agents and maintaining general QA ability on the MMLU
benchmark. We also find that this training paradigm uncovers some difficulties
in LLM-based evaluation of social intelligence: LLM-based evaluators
overestimate the abilities of the language agents trained specifically for
social interaction.Summary
AI-Generated Summary