대형 언어 모델은 모든 캐릭터의 중첩: 자기 정렬을 통한 임의의 역할극 달성

Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment

January 23, 2024

저자: Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

cs.AI

초록

오픈소스 대형 언어 모델(LLMs)의 역할 수행 능력을 강화하기 위해 독점 모델을 모방하는 데 상당한 노력이 투입되어 왔다. 그러나 우리는 LLMs가 방대한 훈련 코퍼스에 내재된 캐릭터와 대화에 대한 광범위한 지식 덕분에 본질적으로 역할 수행 능력을 가지고 있다고 주장한다. 따라서 본 연구에서는 역할 수행을 위한 자기 정렬 방법인 Ditto를 소개한다. Ditto는 캐릭터 지식을 활용하여 지시를 따르는 LLM이 독해의 변형으로 역할 수행 대화를 시뮬레이션하도록 유도한다. 이 방법은 4,000개의 캐릭터로 구성된 역할 수행 훈련 데이터셋을 생성하며, 이는 현재 사용 가능한 데이터셋의 규모를 역할 수 기준으로 10배 이상 초과한다. 이후, 이 자체 생성된 데이터셋을 사용하여 LLM을 미세 조정하여 역할 수행 능력을 강화한다. 우리가 신중하게 구성하고 재현 가능한 역할 수행 벤치마크와 MT-Bench의 역할 수행 하위 집합을 평가한 결과, 다양한 파라미터 규모에서 Ditto는 일관된 역할 정체성을 유지하고 다중 턴 역할 수행 대화에서 정확한 역할별 지식을 제공한다. 특히, Ditto는 모든 오픈소스 역할 수행 기준선을 능가하며, 고급 독점 챗봇과 비슷한 수준의 성능을 보여준다. 또한, 우리는 역할 수행 영역에서 최초의 포괄적인 교차 감독 정렬 실험을 제시하며, LLMs의 내재적 능력이 역할 수행 내의 지식을 제한하는 반면, 더 작은 모델의 지도를 통해 역할 수행 스타일은 쉽게 획득될 수 있음을 보여준다. 관련 리소스는 https://github.com/OFA-Sys/Ditto에서 오픈소스로 공개한다.

English

Considerable efforts have been invested in augmenting the role-playing proficiency of open-source large language models (LLMs) by emulating proprietary counterparts. Nevertheless, we posit that LLMs inherently harbor role-play capabilities, owing to the extensive knowledge of characters and potential dialogues ingrained in their vast training corpora. Thus, in this study, we introduce Ditto, a self-alignment method for role-play. Ditto capitalizes on character knowledge, encouraging an instruction-following LLM to simulate role-play dialogues as a variant of reading comprehension. This method creates a role-play training set comprising 4,000 characters, surpassing the scale of currently available datasets by tenfold regarding the number of roles. Subsequently, we fine-tune the LLM using this self-generated dataset to augment its role-playing capabilities. Upon evaluating our meticulously constructed and reproducible role-play benchmark and the roleplay subset of MT-Bench, Ditto, in various parameter scales, consistently maintains a consistent role identity and provides accurate role-specific knowledge in multi-turn role-play conversations. Notably, it outperforms all open-source role-play baselines, showcasing performance levels comparable to advanced proprietary chatbots. Furthermore, we present the first comprehensive cross-supervision alignment experiment in the role-play domain, revealing that the intrinsic capabilities of LLMs confine the knowledge within role-play. Meanwhile, the role-play styles can be easily acquired with the guidance of smaller models. We open-source related resources at https://github.com/OFA-Sys/Ditto.