대규모 언어 모델을 위한 조절 가능한 텍스트 생성: 조사

Controllable Text Generation for Large Language Models: A Survey

August 22, 2024

저자: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li

cs.AI

초록

자연어 처리(NLP)에서 대형 언어 모델(LLMs)은 높은 텍스트 생성 품질을 증명했습니다. 그러나 실제 응용 프로그램에서는 LLMs가 점점 복잡한 요구 사항을 충족해야 합니다. 오도하는 또는 부적절한 콘텐츠를 피하는 것을 넘어서, LLMs는 특정 사용자 요구를 충족시키기 위해 특정한 글쓰기 스타일을 모방하거나 시적 풍부성을 갖춘 텍스트를 생성하는 것이 기대됩니다. 이러한 다양한 요구 사항은 사전 정의된 제어 조건 - 안전, 감정, 주제 일관성 및 언어 스타일과 같은 제어 조건을 준수하면서 도움, 유창성 및 다양성의 높은 수준을 유지하는 Controllable Text Generation (CTG) 기술의 발전을 촉진했습니다. 본 논문은 LLMs에 대한 CTG의 최신 발전을 체계적으로 검토하며, 핵심 개념의 포괄적인 정의를 제시하고 제어 조건과 텍스트 품질에 대한 요구 사항을 명확히 합니다. 우리는 CTG 작업을 콘텐츠 제어와 속성 제어 두 가지 주요 유형으로 분류하고, 모델 재교육, 미세 조정, 강화 학습, 프롬프트 엔지니어링, 잠재 공간 조작 및 디코딩 시간 개입을 포함한 주요 방법을 논의합니다. 각 방법의 특성, 장단점을 분석하여 생성 제어를 달성하기 위한 세심한 통찰을 제공합니다. 게다가, 우리는 CTG 평가 방법을 검토하고 도메인 전반에 걸친 응용을 요약하며, 현재 연구에서 감소한 유창성과 실용성과 같은 주요 도전에 대응합니다. 또한, 우리는 미래 연구에서 현실 세계 응용에 더 많은 중점을 두는 등 몇 가지 제안을 제시합니다. 본 논문은 해당 분야의 연구자와 개발자들에게 가치 있는 지침을 제공하기 위한 것입니다. 우리의 참고 문헌 목록과 중국어 버전은 https://github.com/IAAR-Shanghai/CTGSurvey에서 오픈 소스로 제공됩니다.

English

In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.