Geração de Texto Controlável para Modelos de Linguagem de Grande Escala: Uma Pesquisa

Controllable Text Generation for Large Language Models: A Survey

August 22, 2024

Autores: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li

cs.AI

Resumo

Na Processamento de Linguagem Natural (PLN), os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado alta qualidade na geração de texto. No entanto, em aplicações do mundo real, os LLMs precisam atender a requisitos cada vez mais complexos. Além de evitar conteúdo enganoso ou inadequado, espera-se que os LLMs atendam às necessidades específicas dos usuários, como imitar estilos de escrita particulares ou gerar texto com riqueza poética. Essas demandas variadas impulsionaram o desenvolvimento de técnicas de Geração de Texto Controlável (CTG), que garantem que as saídas estejam em conformidade com condições de controle predefinidas - como segurança, sentimento, consistência temática e estilo linguístico - mantendo altos padrões de utilidade, fluidez e diversidade. Este artigo revisa sistematicamente os avanços mais recentes em CTG para LLMs, oferecendo uma definição abrangente de seus conceitos principais e esclarecendo os requisitos para condições de controle e qualidade de texto. Nós categorizamos as tarefas de CTG em dois tipos principais: controle de conteúdo e controle de atributos. Os principais métodos são discutidos, incluindo o retrabalho do modelo, ajuste fino, aprendizado por reforço, engenharia de prompts, manipulação do espaço latente e intervenção no momento da decodificação. Analisamos as características, vantagens e limitações de cada método, fornecendo insights detalhados para alcançar o controle de geração. Além disso, revisamos os métodos de avaliação de CTG, resumimos suas aplicações em diferentes domínios e abordamos os principais desafios na pesquisa atual, incluindo redução de fluidez e praticidade. Também propomos várias sugestões, como dar maior ênfase a aplicações do mundo real em pesquisas futuras. Este artigo tem como objetivo oferecer orientações valiosas para pesquisadores e desenvolvedores na área. Nossa lista de referências e a versão em chinês estão disponíveis em código aberto em https://github.com/IAAR-Shanghai/CTGSurvey.

English

In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.