LMSYS-Chat-1M：大規模実世界LLM会話データセット

LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset

September 21, 2023

著者: Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Tianle Li, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zhuohan Li, Zi Lin, Eric. P Xing, Joseph E. Gonzalez, Ion Stoica, Hao Zhang

cs.AI

要旨

現実世界の様々なアプリケーションで広く使用されている大規模言語モデル（LLM）と人々がどのように相互作用するかを研究することは、ますます重要になっています。本論文では、25の最先端LLMとの100万件の現実世界の会話を含む大規模データセットであるLMSYS-Chat-1Mを紹介します。このデータセットは、VicunaデモとChatbot Arenaウェブサイト上で、21万のユニークIPアドレスから収集されました。データセットの内容について、キュレーションプロセス、基本統計、トピック分布を含む概要を提供し、その多様性、独創性、規模を強調します。GPT-4と同等の性能を持つコンテンツモデレーションモデルの開発、安全性ベンチマークの構築、Vicunaと同等の性能を持つ指示追従モデルのトレーニング、挑戦的なベンチマーク質問の作成という4つのユースケースを通じて、その汎用性を実証します。このデータセットがLLMの能力を理解し、進歩させるための貴重なリソースとなることを信じています。データセットはhttps://huggingface.co/datasets/lmsys/lmsys-chat-1mで公開されています。

English

Studying how people interact with large language models (LLMs) in real-world scenarios is increasingly important due to their widespread use in various applications. In this paper, we introduce LMSYS-Chat-1M, a large-scale dataset containing one million real-world conversations with 25 state-of-the-art LLMs. This dataset is collected from 210K unique IP addresses in the wild on our Vicuna demo and Chatbot Arena website. We offer an overview of the dataset's content, including its curation process, basic statistics, and topic distribution, highlighting its diversity, originality, and scale. We demonstrate its versatility through four use cases: developing content moderation models that perform similarly to GPT-4, building a safety benchmark, training instruction-following models that perform similarly to Vicuna, and creating challenging benchmark questions. We believe that this dataset will serve as a valuable resource for understanding and advancing LLM capabilities. The dataset is publicly available at https://huggingface.co/datasets/lmsys/lmsys-chat-1m.