大規模言語モデルに対する制御可能なテキスト生成：サーベイ

Controllable Text Generation for Large Language Models: A Survey

August 22, 2024

著者: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li

cs.AI

要旨

自然言語処理（NLP）において、大規模言語モデル（LLM）は高いテキスト生成品質を示しています。しかしながら、実世界のアプリケーションにおいて、LLMはますます複雑な要件を満たさなければなりません。誤解を招くか不適切なコンテンツを避けるだけでなく、LLMは特定のユーザーのニーズに合わせることが期待されており、特定の文章スタイルの模倣や詩的な豊かさを持つテキストの生成などが含まれます。これら多様な要求は、制御可能なテキスト生成（CTG）技術の開発を促進し、出力が安全性、感情、テーマの一貫性、言語スタイルなどの事前定義された制御条件に従いつつ、助けになる、流暢で多様性の高い基準を維持することを確実にします。 本論文は、LLM向けCTGの最新の進展を体系的にレビューし、その中核概念の包括的な定義を提供し、制御条件とテキスト品質の要件を明確にします。CTGタスクをコンテンツ制御と属性制御の2つの主要タイプに分類し、モデルの再トレーニング、ファインチューニング、強化学習、プロンプトエンジニアリング、潜在空間の操作、デコーディング時の介入など、主要な手法について議論します。各手法の特性、利点、制限を分析し、生成制御を達成するための微妙な洞察を提供します。さらに、CTGの評価方法を検討し、領域全体での応用をまとめ、現在の研究における流暢性や実用性の低下など、主要な課題に取り組みます。また、将来の研究において実世界のアプリケーションに重点を置くなど、いくつかの提言を行います。本論文は、この分野の研究者や開発者に貴重なガイダンスを提供することを目的としています。当該論文の参考文献リストと中国語版は、https://github.com/IAAR-Shanghai/CTGSurvey でオープンソースで公開されています。

English

In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.