Génération de texte contrôlable pour les grands modèles de langage : Une enquête

Controllable Text Generation for Large Language Models: A Survey

August 22, 2024

Auteurs: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li

cs.AI

Résumé

En Traitement Automatique du Langage Naturel (TALN), les Grands Modèles de Langage (GML) ont démontré une grande qualité de génération de texte. Cependant, dans les applications du monde réel, les GML doivent répondre à des exigences de plus en plus complexes. Au-delà d'éviter tout contenu trompeur ou inapproprié, les GML doivent également répondre à des besoins spécifiques des utilisateurs, tels que l'imitation de styles d'écriture particuliers ou la génération de texte avec une richesse poétique. Ces demandes variées ont conduit au développement de techniques de Génération de Texte Contrôlable (GTC), qui garantissent que les sorties respectent des conditions de contrôle prédéfinies, telles que la sécurité, le sentiment, la cohérence thématique et le style linguistique, tout en maintenant des normes élevées d'utilité, de fluidité et de diversité. Cet article passe en revue de manière systématique les dernières avancées en GTC pour les GML, offrant une définition complète de ses concepts fondamentaux et clarifiant les exigences en matière de conditions de contrôle et de qualité du texte. Nous catégorisons les tâches de GTC en deux types principaux : le contrôle de contenu et le contrôle d'attributs. Les principales méthodes sont discutées, notamment le retraitement du modèle, le fine-tuning, l'apprentissage par renforcement, l'ingénierie des prompts, la manipulation de l'espace latent et l'intervention au moment du décodage. Nous analysons les caractéristiques, les avantages et les limites de chaque méthode, fournissant des perspectives nuancées pour atteindre un contrôle de génération. De plus, nous passons en revue les méthodes d'évaluation de la GTC, résumons ses applications dans différents domaines et abordons les principaux défis de la recherche actuelle, notamment la réduction de la fluidité et de la praticité. Nous proposons également plusieurs recommandations, telles qu'accorder une plus grande importance aux applications du monde réel dans les futures recherches. Cet article vise à offrir des orientations précieuses aux chercheurs et développeurs dans le domaine. Notre liste de références et la version chinoise sont disponibles en open source sur https://github.com/IAAR-Shanghai/CTGSurvey.

English

In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.