고품질 지시적 대화의 확장을 통해 채팅 언어 모델 성능 향상

Enhancing Chat Language Models by Scaling High-quality Instructional Conversations

May 23, 2023

저자: Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, Bowen Zhou

cs.AI

초록

지시 데이터에 대한 미세 조정은 ChatGPT와 같은 채팅 언어 모델을 구현하는 데 효과적인 방법으로 널리 검증되어 왔다. 이러한 데이터의 다양성과 품질을 확장하는 것은 비록 간단하지만 성능 향상으로 이어질 가능성이 크다. 본 논문은 오픈소스 모델의 상한을 더욱 개선하는 것을 목표로 한다. 먼저, 인간의 질문을 포함하지 않고 체계적으로 설계된 다양하고 유익한 대규모 지시 대화 데이터셋인 UltraChat을 제공한다. 우리의 목표는 인간이 AI 어시스턴트와 가질 수 있는 상호작용의 폭을 포착하고, 다중 턴 대화를 반복적으로 생성하기 위한 포괄적인 프레임워크를 사용하는 것이다. UltraChat은 150만 개의 고품질 다중 턴 대화를 포함하며 다양한 주제와 지시를 다룬다. UltraChat에 대한 통계적 분석은 규모, 평균 길이, 다양성, 일관성 등 다양한 핵심 지표에서의 우수성을 보여주며, 이를 선도적인 오픈소스 데이터셋으로 자리매김한다. UltraChat을 기반으로 LLaMA 모델을 미세 조정하여 강력한 대화 모델인 UltraLLaMA을 생성한다. 우리의 평가 결과, UltraLLaMA은 이전에 최첨단 오픈소스 모델로 인정받았던 Vicuna을 포함한 다른 오픈소스 모델들을 꾸준히 능가하는 것으로 나타났다. 데이터셋과 모델은 공개될 예정이다\url{https://github.com/thunlp/UltraChat}.

English

Fine-tuning on instruction data has been widely validated as an effective practice for implementing chat language models like ChatGPT. Scaling the diversity and quality of such data, although straightforward, stands a great chance of leading to improved performance. This paper aims to improve the upper bound of open-source models further. We first provide a systematically designed, diverse, informative, large-scale dataset of instructional conversations, UltraChat, which does not involve human queries. Our objective is to capture the breadth of interactions that a human might have with an AI assistant and employs a comprehensive framework to generate multi-turn conversation iteratively. UltraChat contains 1.5 million high-quality multi-turn dialogues and covers a wide range of topics and instructions. Our statistical analysis of UltraChat reveals its superiority in various key metrics, including scale, average length, diversity, coherence, etc., solidifying its position as a leading open-source dataset. Building upon UltraChat, we fine-tune a LLaMA model to create a powerful conversational model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently outperforms other open-source models, including Vicuna, the previously recognized state-of-the-art open-source model. The dataset and the model will be publicly released\url{https://github.com/thunlp/UltraChat}.