Generación de Texto Controlable para Modelos de Lenguaje Grandes: Una Encuesta

Controllable Text Generation for Large Language Models: A Survey

August 22, 2024

Autores: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li

cs.AI

Resumen

En el Procesamiento del Lenguaje Natural (PLN), los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) han demostrado una alta calidad en la generación de texto. Sin embargo, en aplicaciones del mundo real, los LLMs deben cumplir con requisitos cada vez más complejos. Además de evitar contenido engañoso o inapropiado, se espera que los LLMs satisfagan necesidades específicas de los usuarios, como imitar estilos de escritura particulares o generar texto con riqueza poética. Estas demandas variadas han impulsado el desarrollo de técnicas de Generación de Texto Controlada (CTG, por sus siglas en inglés), que garantizan que las salidas cumplan con condiciones de control predefinidas, como seguridad, sentimiento, consistencia temática y estilo lingüístico, manteniendo altos estándares de utilidad, fluidez y diversidad. Este artículo revisa sistemáticamente los últimos avances en CTG para LLMs, ofreciendo una definición integral de sus conceptos principales y aclarando los requisitos para las condiciones de control y la calidad del texto. Clasificamos las tareas de CTG en dos tipos principales: control de contenido y control de atributos. Se discuten los métodos clave, que incluyen el reentrenamiento del modelo, el ajuste fino, el aprendizaje por refuerzo, la ingeniería de indicaciones, la manipulación del espacio latente y la intervención en tiempo de decodificación. Analizamos las características, ventajas y limitaciones de cada método, brindando ideas detalladas para lograr un control de generación. Además, revisamos los métodos de evaluación de CTG, resumimos sus aplicaciones en diferentes dominios y abordamos los desafíos clave en la investigación actual, incluida la reducción de fluidez y practicidad. También proponemos varias sugerencias, como dar mayor énfasis a las aplicaciones del mundo real en futuras investigaciones. Este artículo tiene como objetivo ofrecer orientación valiosa a investigadores y desarrolladores en el campo. Nuestra lista de referencias y la versión en chino están disponibles en código abierto en https://github.com/IAAR-Shanghai/CTGSurvey.

English

In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.