Управляемая генерация текста для больших языковых моделей: обзор
Controllable Text Generation for Large Language Models: A Survey
August 22, 2024
Авторы: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li
cs.AI
Аннотация
В обработке естественного языка (NLP) большие языковые модели (LLM) продемонстрировали высокое качество генерации текста. Однако в реальных приложениях LLM должны соответствовать все более сложным требованиям. Помимо избегания вводящего в заблуждение или неуместного контента, от LLM также ожидают, что они будут учитывать конкретные потребности пользователей, такие как имитация определенных стилей письма или генерация текста с поэтической насыщенностью. Эти разнообразные требования побудили развитие техник управляемой генерации текста (CTG), которые обеспечивают соблюдение заранее определенных условий управления - таких как безопасность, эмоциональная окраска, тематическая последовательность и лингвистический стиль - при сохранении высоких стандартов полезности, беглости и разнообразия.
В данной статье систематически рассматриваются последние достижения в области CTG для LLM, предлагается комплексное определение его основных концепций и уточняются требования к условиям управления и качеству текста. Мы классифицируем задачи CTG на два основных типа: управление содержанием и управление атрибутами. Обсуждаются основные методы, включая переобучение модели, донастройку, обучение с подкреплением, инженерию подсказок, манипуляцию латентным пространством и вмешательство в процесс декодирования. Мы анализируем характеристики, преимущества и ограничения каждого метода, предоставляя тонкие исследования для достижения контроля над генерацией. Кроме того, мы рассматриваем методы оценки CTG, подводим итоги его применения в различных областях и рассматриваем ключевые проблемы в текущих исследованиях, включая снижение беглости и практичности. Мы также предлагаем несколько рекомендаций, таких как уделять большее внимание реальным приложениям в будущих исследованиях. Цель данной статьи - предложить ценное руководство исследователям и разработчикам в данной области. Наш список литературы и китайская версия доступны по ссылке https://github.com/IAAR-Shanghai/CTGSurvey.
English
In Natural Language Processing (NLP), Large Language Models (LLMs) have
demonstrated high text generation quality. However, in real-world applications,
LLMs must meet increasingly complex requirements. Beyond avoiding misleading or
inappropriate content, LLMs are also expected to cater to specific user needs,
such as imitating particular writing styles or generating text with poetic
richness. These varied demands have driven the development of Controllable Text
Generation (CTG) techniques, which ensure that outputs adhere to predefined
control conditions--such as safety, sentiment, thematic consistency, and
linguistic style--while maintaining high standards of helpfulness, fluency, and
diversity.
This paper systematically reviews the latest advancements in CTG for LLMs,
offering a comprehensive definition of its core concepts and clarifying the
requirements for control conditions and text quality. We categorize CTG tasks
into two primary types: content control and attribute control. The key methods
are discussed, including model retraining, fine-tuning, reinforcement learning,
prompt engineering, latent space manipulation, and decoding-time intervention.
We analyze each method's characteristics, advantages, and limitations,
providing nuanced insights for achieving generation control. Additionally, we
review CTG evaluation methods, summarize its applications across domains, and
address key challenges in current research, including reduced fluency and
practicality. We also propose several appeals, such as placing greater emphasis
on real-world applications in future research. This paper aims to offer
valuable guidance to researchers and developers in the field. Our reference
list and Chinese version are open-sourced at
https://github.com/IAAR-Shanghai/CTGSurvey.