Steuerbare Textgenerierung für große Sprachmodelle: Eine Übersicht

Controllable Text Generation for Large Language Models: A Survey

August 22, 2024

Autoren: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li

cs.AI

Zusammenfassung

In der natürlichen Sprachverarbeitung (NLP) haben Große Sprachmodelle (LLMs) eine hohe Qualität bei der Textgenerierung gezeigt. In realen Anwendungen müssen LLMs jedoch zunehmend komplexen Anforderungen gerecht werden. Neben der Vermeidung irreführender oder unangemessener Inhalte sollen LLMs auch spezifischen Benutzeranforderungen gerecht werden, wie das Nachahmen bestimmter Schreibstile oder die Generierung von Texten mit poetischer Reichhaltigkeit. Diese vielfältigen Anforderungen haben zur Entwicklung von Techniken zur kontrollierten Textgenerierung (CTG) geführt, die sicherstellen, dass die Ausgaben vordefinierten Steuerungsbedingungen entsprechen - wie Sicherheit, Stimmung, thematische Konsistenz und sprachlicher Stil - und dabei hohe Standards in Bezug auf Hilfreichkeit, Flüssigkeit und Vielfalt beibehalten. Dieser Artikel überprüft systematisch die neuesten Fortschritte bei der CTG für LLMs, bietet eine umfassende Definition ihrer Kernkonzepte und klärt die Anforderungen an Steuerungsbedingungen und Textqualität. Wir kategorisieren CTG-Aufgaben in zwei Haupttypen: Inhaltssteuerung und Attributsteuerung. Die wichtigsten Methoden werden diskutiert, darunter Modellneuschulung, Feinabstimmung, Verstärkendes Lernen, Prompt-Engineering, Manipulation des latenten Raums und Eingriffe zur Dekodierungszeit. Wir analysieren die Merkmale, Vorteile und Einschränkungen jeder Methode und bieten differenzierte Einblicke zur Erreichung der Generationskontrolle. Darüber hinaus überprüfen wir CTG-Evaluierungsmethoden, fassen ihre Anwendungen in verschiedenen Bereichen zusammen und behandeln wichtige Herausforderungen in der aktuellen Forschung, einschließlich reduzierter Flüssigkeit und Praktikabilität. Wir schlagen auch mehrere Appelle vor, wie zukünftige Forschung einen stärkeren Schwerpunkt auf reale Anwendungen legen könnte. Dieser Artikel zielt darauf ab, wertvolle Anleitungen für Forscher und Entwickler auf diesem Gebiet zu bieten. Unsere Referenzliste und die chinesische Version sind unter https://github.com/IAAR-Shanghai/CTGSurvey öffentlich zugänglich.

English

In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.