Weaver: 創造的執筆のための基盤モデル

Weaver: Foundation Models for Creative Writing

January 30, 2024

著者: Tiannan Wang, Jiamin Chen, Qingrui Jia, Shuai Wang, Ruoyu Fang, Huilin Wang, Zhaowei Gao, Chunzhao Xie, Chuou Xu, Jihong Dai, Yibin Liu, Jialong Wu, Shengwei Ding, Long Li, Zhiwei Huang, Xinle Deng, Teng Yu, Gangan Ma, Han Xiao, Zixin Chen, Danjun Xiang, Yunxia Wang, Yuanyuan Zhu, Yi Xiao, Jing Wang, Yiru Wang, Siran Ding, Jiayang Huang, Jiayi Xu, Yilihamu Tayier, Zhenyu Hu, Yuan Gao, Chengfeng Zheng, Yueshu Ye, Yihang Li, Lei Wan, Xinyue Jiang, Yujie Wang, Siyu Cheng, Zhule Song, Xiangru Tang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

要旨

本論文では、コンテンツ作成に特化した初の大規模言語モデル（LLM）ファミリー「Weaver」を紹介する。Weaverは、大規模言語モデルの文章作成能力を向上させるために厳選されたコーパスで事前学習されており、その後、創造的および専門的な文章作成目的でファインチューニングされ、プロの作家の好みに合わせて調整されている。これにより、より人間らしいテキストを生成し、コンテンツ作成のための多様な指示に従うことができる。Weaverファミリーは、Weaver Mini（1.8B）、Weaver Base（6B）、Weaver Pro（14B）、Weaver Ultra（34B）のサイズで構成され、異なるアプリケーションに適しており、クエリの複雑さに応じてルーティングエージェントによって動的にディスパッチされ、応答品質と計算コストのバランスを取ることができる。LLMの文章作成能力を評価するために厳選されたベンチマークでの評価では、Weaverのすべてのサイズのモデルが、それよりも数倍大きい汎用LLMを上回る結果を示した。特に、最も能力の高いWeaver Ultraモデルは、最先端の汎用LLMであるGPT-4をさまざまな文章作成シナリオで凌駕し、文章作成に特化したLLMを訓練することの利点を実証した。さらに、Weaverは、検索拡張生成（RAG）と関数呼び出し（ツール使用）をネイティブでサポートしている。これらの能力を活用して、外部の知識ベース、ツール、またはAPIの統合、および個別化された文章作成支援を提供するなど、AI支援型文章作成システムを改善するためのさまざまなユースケースを提示する。さらに、ドメイン特化型LLMの事前学習とファインチューニングのためのガイドラインとベストプラクティスについて議論し、まとめる。

English

This work introduces Weaver, our first family of large language models (LLMs) dedicated to content creation. Weaver is pre-trained on a carefully selected corpus that focuses on improving the writing capabilities of large language models. We then fine-tune Weaver for creative and professional writing purposes and align it to the preference of professional writers using a suit of novel methods for instruction data synthesis and LLM alignment, making it able to produce more human-like texts and follow more diverse instructions for content creation. The Weaver family consists of models of Weaver Mini (1.8B), Weaver Base (6B), Weaver Pro (14B), and Weaver Ultra (34B) sizes, suitable for different applications and can be dynamically dispatched by a routing agent according to query complexity to balance response quality and computation cost. Evaluation on a carefully curated benchmark for assessing the writing capabilities of LLMs shows Weaver models of all sizes outperform generalist LLMs several times larger than them. Notably, our most-capable Weaver Ultra model surpasses GPT-4, a state-of-the-art generalist LLM, on various writing scenarios, demonstrating the advantage of training specialized LLMs for writing purposes. Moreover, Weaver natively supports retrieval-augmented generation (RAG) and function calling (tool usage). We present various use cases of these abilities for improving AI-assisted writing systems, including integration of external knowledge bases, tools, or APIs, and providing personalized writing assistance. Furthermore, we discuss and summarize a guideline and best practices for pre-training and fine-tuning domain-specific LLMs.