AudioStory: Генерация длинных повествовательных аудио с использованием крупных языковых моделей

AudioStory: Generating Long-Form Narrative Audio with Large Language Models

August 27, 2025

Авторы: Yuxin Guo, Teng Wang, Yuying Ge, Shijie Ma, Yixiao Ge, Wei Zou, Ying Shan

cs.AI

Аннотация

Последние достижения в области генерации текста в аудио (TTA) преуспевают в синтезе коротких аудиоклипов, но сталкиваются с трудностями при создании длинных повествовательных аудио, которые требуют временной согласованности и композиционного мышления. Чтобы устранить этот пробел, мы предлагаем AudioStory, унифицированную платформу, которая интегрирует большие языковые модели (LLM) с системами TTA для создания структурированных длинных аудиоповествований. AudioStory обладает мощными возможностями генерации с учетом инструкций. Она использует LLM для декомпозиции сложных повествовательных запросов на временно упорядоченные подзадачи с контекстными подсказками, обеспечивая согласованные переходы между сценами и сохранение эмоционального тона. AudioStory имеет две привлекательные особенности: (1) Разделенный механизм связывания: AudioStory разделяет взаимодействие LLM и диффузора на два специализированных компонента, а именно запрос на семантическое согласование внутри событий и остаточный запрос для сохранения согласованности между событиями. (2) Сквозное обучение: Объединяя понимание инструкций и генерацию аудио в рамках единой сквозной платформы, AudioStory устраняет необходимость в модульных обучающих конвейерах, одновременно усиливая синергию между компонентами. Кроме того, мы создали эталонный набор данных AudioStory-10K, охватывающий различные области, такие как анимированные звуковые ландшафты и повествования с естественными звуками. Многочисленные эксперименты демонстрируют превосходство AudioStory как в генерации отдельных аудио, так и в создании повествовательных аудио, превосходя предыдущие базовые модели TTA как в способности следовать инструкциям, так и в качестве звучания. Наш код доступен по адресу https://github.com/TencentARC/AudioStory.

English

Recent advances in text-to-audio (TTA) generation excel at synthesizing short audio clips but struggle with long-form narrative audio, which requires temporal coherence and compositional reasoning. To address this gap, we propose AudioStory, a unified framework that integrates large language models (LLMs) with TTA systems to generate structured, long-form audio narratives. AudioStory possesses strong instruction-following reasoning generation capabilities. It employs LLMs to decompose complex narrative queries into temporally ordered sub-tasks with contextual cues, enabling coherent scene transitions and emotional tone consistency. AudioStory has two appealing features: (1) Decoupled bridging mechanism: AudioStory disentangles LLM-diffuser collaboration into two specialized components, i.e., a bridging query for intra-event semantic alignment and a residual query for cross-event coherence preservation. (2) End-to-end training: By unifying instruction comprehension and audio generation within a single end-to-end framework, AudioStory eliminates the need for modular training pipelines while enhancing synergy between components. Furthermore, we establish a benchmark AudioStory-10K, encompassing diverse domains such as animated soundscapes and natural sound narratives. Extensive experiments show the superiority of AudioStory on both single-audio generation and narrative audio generation, surpassing prior TTA baselines in both instruction-following ability and audio fidelity. Our code is available at https://github.com/TencentARC/AudioStory