I grandi modelli linguistici sono sovrapposizioni di tutti i personaggi: raggiungere il role-play arbitrario tramite auto-allineamento

Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment

January 23, 2024

Autori: Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

cs.AI

Abstract

Sono stati investiti notevoli sforzi per potenziare le capacità di role-playing dei modelli linguistici di grandi dimensioni (LLM) open-source emulando le controparti proprietarie. Tuttavia, riteniamo che gli LLM possiedano intrinsecamente capacità di role-play, grazie alla vasta conoscenza di personaggi e potenziali dialoghi radicata nei loro ampi corpora di addestramento. Pertanto, in questo studio, introduciamo Ditto, un metodo di auto-allineamento per il role-play. Ditto sfrutta la conoscenza dei personaggi, incoraggiando un LLM che segue le istruzioni a simulare dialoghi di role-play come una variante di comprensione della lettura. Questo metodo crea un set di addestramento per il role-play composto da 4.000 personaggi, superando di dieci volte la scala dei dataset attualmente disponibili per quanto riguarda il numero di ruoli. Successivamente, ottimizziamo l'LLM utilizzando questo dataset auto-generato per potenziare le sue capacità di role-playing. Valutando il nostro benchmark di role-play meticolosamente costruito e riproducibile e il sottoinsieme di roleplay di MT-Bench, Ditto, in varie scale di parametri, mantiene costantemente un'identità di ruolo coerente e fornisce conoscenze specifiche del ruolo accurate in conversazioni di role-play a più turni. In particolare, supera tutte le baseline open-source di role-play, mostrando livelli di prestazioni paragonabili a chatbot proprietari avanzati. Inoltre, presentiamo il primo esperimento completo di allineamento cross-supervision nel dominio del role-play, rivelando che le capacità intrinseche degli LLM limitano la conoscenza all'interno del role-play. Nel frattempo, gli stili di role-play possono essere facilmente acquisiti con la guida di modelli più piccoli. Rendiamo disponibili le risorse correlate su https://github.com/OFA-Sys/Ditto.

English

Considerable efforts have been invested in augmenting the role-playing proficiency of open-source large language models (LLMs) by emulating proprietary counterparts. Nevertheless, we posit that LLMs inherently harbor role-play capabilities, owing to the extensive knowledge of characters and potential dialogues ingrained in their vast training corpora. Thus, in this study, we introduce Ditto, a self-alignment method for role-play. Ditto capitalizes on character knowledge, encouraging an instruction-following LLM to simulate role-play dialogues as a variant of reading comprehension. This method creates a role-play training set comprising 4,000 characters, surpassing the scale of currently available datasets by tenfold regarding the number of roles. Subsequently, we fine-tune the LLM using this self-generated dataset to augment its role-playing capabilities. Upon evaluating our meticulously constructed and reproducible role-play benchmark and the roleplay subset of MT-Bench, Ditto, in various parameter scales, consistently maintains a consistent role identity and provides accurate role-specific knowledge in multi-turn role-play conversations. Notably, it outperforms all open-source role-play baselines, showcasing performance levels comparable to advanced proprietary chatbots. Furthermore, we present the first comprehensive cross-supervision alignment experiment in the role-play domain, revealing that the intrinsic capabilities of LLMs confine the knowledge within role-play. Meanwhile, the role-play styles can be easily acquired with the guidance of smaller models. We open-source related resources at https://github.com/OFA-Sys/Ditto.