Generazione Controllata di Testo per Modelli Linguistici di Grande Dimensione: Una Rassegna

Controllable Text Generation for Large Language Models: A Survey

August 22, 2024

Autori: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li

cs.AI

Abstract

Nel campo dell'Elaborazione del Linguaggio Naturale (NLP), i Modelli Linguistici di Grande Scala (LLMs) hanno dimostrato un'elevata qualità nella generazione di testo. Tuttavia, nelle applicazioni reali, gli LLMs devono soddisfare requisiti sempre più complessi. Oltre a evitare contenuti fuorvianti o inappropriati, ci si aspetta che gli LLMs rispondano a esigenze specifiche degli utenti, come imitare stili di scrittura particolari o generare testi con una ricchezza poetica. Queste diverse esigenze hanno guidato lo sviluppo delle tecniche di Generazione Controllata del Testo (CTG), che garantiscono che gli output rispettino condizioni di controllo predefinite—come sicurezza, sentimento, coerenza tematica e stile linguistico—mantenendo al contempo elevati standard di utilità, fluidità e diversità. Questo articolo esamina sistematicamente i più recenti progressi nel campo della CTG per gli LLMs, offrendo una definizione completa dei suoi concetti fondamentali e chiarendo i requisiti per le condizioni di controllo e la qualità del testo. Classifichiamo i compiti della CTG in due tipi principali: controllo del contenuto e controllo degli attributi. Vengono discussi i metodi chiave, tra cui il riaddestramento del modello, il fine-tuning, l'apprendimento per rinforzo, l'ingegneria dei prompt, la manipolazione dello spazio latente e l'intervento al momento della decodifica. Analizziamo le caratteristiche, i vantaggi e i limiti di ciascun metodo, fornendo approfondimenti per il raggiungimento del controllo nella generazione. Inoltre, esaminiamo i metodi di valutazione della CTG, riassumiamo le sue applicazioni in vari domini e affrontiamo le principali sfide nella ricerca attuale, tra cui la ridotta fluidità e praticità. Proponiamo anche diversi appelli, come porre maggiore enfasi sulle applicazioni reali nella ricerca futura. Questo articolo mira a offrire una guida preziosa per ricercatori e sviluppatori del settore. La nostra lista di riferimenti e la versione in cinese sono open-source su https://github.com/IAAR-Shanghai/CTGSurvey.

English

In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.