Los Modelos de Lenguaje de Gran Escala son Superposiciones de Todos los Personajes: Logrando Role-play Arbitrario mediante Auto-alineación

Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment

January 23, 2024

Autores: Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

cs.AI

Resumen

Se han invertido esfuerzos considerables en mejorar la capacidad de interpretación de roles de los modelos de lenguaje de gran escala (LLMs) de código abierto mediante la emulación de contrapartes propietarias. Sin embargo, sostenemos que los LLMs poseen inherentemente habilidades para la interpretación de roles, debido al amplio conocimiento de personajes y diálogos potenciales incrustado en sus extensos corpus de entrenamiento. Por lo tanto, en este estudio, presentamos Ditto, un método de autoalineación para la interpretación de roles. Ditto aprovecha el conocimiento de los personajes, incentivando a un LLM que sigue instrucciones a simular diálogos de interpretación de roles como una variante de comprensión lectora. Este método crea un conjunto de entrenamiento para interpretación de roles que incluye 4,000 personajes, superando diez veces la escala de los conjuntos de datos disponibles actualmente en cuanto al número de roles. Posteriormente, ajustamos el LLM utilizando este conjunto de datos auto-generado para mejorar sus capacidades de interpretación de roles. Al evaluar nuestro benchmark de interpretación de roles meticulosamente construido y reproducible, así como el subconjunto de interpretación de roles de MT-Bench, Ditto, en varias escalas de parámetros, mantiene consistentemente una identidad de rol coherente y proporciona conocimiento específico del rol de manera precisa en conversaciones de interpretación de roles de múltiples turnos. Notablemente, supera a todas las líneas base de interpretación de roles de código abierto, mostrando niveles de rendimiento comparables a los de chatbots propietarios avanzados. Además, presentamos el primer experimento exhaustivo de alineación cruzada en el dominio de la interpretación de roles, revelando que las capacidades intrínsecas de los LLMs limitan el conocimiento dentro de la interpretación de roles. Mientras tanto, los estilos de interpretación de roles pueden adquirirse fácilmente con la guía de modelos más pequeños. Hemos puesto a disposición los recursos relacionados en https://github.com/OFA-Sys/Ditto.

English

Considerable efforts have been invested in augmenting the role-playing proficiency of open-source large language models (LLMs) by emulating proprietary counterparts. Nevertheless, we posit that LLMs inherently harbor role-play capabilities, owing to the extensive knowledge of characters and potential dialogues ingrained in their vast training corpora. Thus, in this study, we introduce Ditto, a self-alignment method for role-play. Ditto capitalizes on character knowledge, encouraging an instruction-following LLM to simulate role-play dialogues as a variant of reading comprehension. This method creates a role-play training set comprising 4,000 characters, surpassing the scale of currently available datasets by tenfold regarding the number of roles. Subsequently, we fine-tune the LLM using this self-generated dataset to augment its role-playing capabilities. Upon evaluating our meticulously constructed and reproducible role-play benchmark and the roleplay subset of MT-Bench, Ditto, in various parameter scales, consistently maintains a consistent role identity and provides accurate role-specific knowledge in multi-turn role-play conversations. Notably, it outperforms all open-source role-play baselines, showcasing performance levels comparable to advanced proprietary chatbots. Furthermore, we present the first comprehensive cross-supervision alignment experiment in the role-play domain, revealing that the intrinsic capabilities of LLMs confine the knowledge within role-play. Meanwhile, the role-play styles can be easily acquired with the guidance of smaller models. We open-source related resources at https://github.com/OFA-Sys/Ditto.