Beheersbare Tekstgeneratie voor Grote Taalmodellen: Een Overzicht

Controllable Text Generation for Large Language Models: A Survey

August 22, 2024

Auteurs: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li

cs.AI

Samenvatting

In Natural Language Processing (NLP) hebben Large Language Models (LLMs) een hoge kwaliteit in tekstgeneratie aangetoond. In praktische toepassingen moeten LLMs echter aan steeds complexere eisen voldoen. Naast het vermijden van misleidende of ongepaste inhoud, wordt van LLMs ook verwacht dat ze inspelen op specifieke gebruikersbehoeften, zoals het imiteren van bepaalde schrijfstijlen of het genereren van tekst met poëtische rijkdom. Deze uiteenlopende eisen hebben de ontwikkeling van Controllable Text Generation (CTG)-technieken gestimuleerd, die ervoor zorgen dat uitvoeren voldoen aan vooraf gedefinieerde controlecondities—zoals veiligheid, sentiment, thematische consistentie en linguïstische stijl—terwijl hoge standaarden van nuttigheid, vloeiendheid en diversiteit worden gehandhaafd. Dit artikel geeft een systematisch overzicht van de nieuwste ontwikkelingen in CTG voor LLMs, biedt een uitgebreide definitie van de kernconcepten en verduidelijkt de eisen voor controlecondities en tekstkwaliteit. We categoriseren CTG-taken in twee hoofdtypen: inhoudscontrole en attribuutcontrole. De belangrijkste methoden worden besproken, waaronder modelhertraining, fine-tuning, reinforcement learning, prompt engineering, latent space-manipulatie en interventie tijdens decodering. We analyseren de kenmerken, voordelen en beperkingen van elke methode en bieden genuanceerde inzichten voor het bereiken van generatiecontrole. Daarnaast bespreken we CTG-evaluatiemethoden, vatten we de toepassingen in verschillende domeinen samen en gaan we in op belangrijke uitdagingen in het huidige onderzoek, zoals verminderde vloeiendheid en praktische bruikbaarheid. We doen ook verschillende aanbevelingen, zoals het meer nadruk leggen op praktische toepassingen in toekomstig onderzoek. Dit artikel beoogt waardevolle richtlijnen te bieden aan onderzoekers en ontwikkelaars in het veld. Onze referentielijst en Chinese versie zijn openbaar beschikbaar op https://github.com/IAAR-Shanghai/CTGSurvey.

English

In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.