AudioStory: Generación de audio narrativo de larga duración con modelos de lenguaje a gran escala

AudioStory: Generating Long-Form Narrative Audio with Large Language Models

August 27, 2025

Autores: Yuxin Guo, Teng Wang, Yuying Ge, Shijie Ma, Yixiao Ge, Wei Zou, Ying Shan

cs.AI

Resumen

Los avances recientes en la generación de texto a audio (TTA) destacan en la síntesis de clips de audio cortos, pero enfrentan dificultades con el audio narrativo de larga duración, el cual requiere coherencia temporal y razonamiento compositivo. Para abordar esta brecha, proponemos AudioStory, un marco unificado que integra modelos de lenguaje de gran escala (LLMs) con sistemas TTA para generar narrativas de audio estructuradas y de larga duración. AudioStory posee capacidades avanzadas de generación de razonamiento basado en instrucciones. Emplea LLMs para descomponer consultas narrativas complejas en sub-tareas ordenadas temporalmente con indicaciones contextuales, permitiendo transiciones coherentes entre escenas y consistencia en el tono emocional. AudioStory presenta dos características atractivas: (1) Mecanismo de puente desacoplado: AudioStory separa la colaboración entre LLM y difusor en dos componentes especializados, es decir, una consulta de puente para la alineación semántica intra-evento y una consulta residual para la preservación de la coherencia inter-evento. (2) Entrenamiento de extremo a extremo: Al unificar la comprensión de instrucciones y la generación de audio dentro de un único marco de extremo a extremo, AudioStory elimina la necesidad de tuberías de entrenamiento modular mientras mejora la sinergia entre componentes. Además, establecemos un punto de referencia, AudioStory-10K, que abarca diversos dominios como paisajes sonoros animados y narrativas de sonidos naturales. Experimentos extensivos demuestran la superioridad de AudioStory tanto en la generación de audio individual como en la generación de audio narrativo, superando a los baselines previos de TTA tanto en la capacidad de seguimiento de instrucciones como en la fidelidad del audio. Nuestro código está disponible en https://github.com/TencentARC/AudioStory.

English

Recent advances in text-to-audio (TTA) generation excel at synthesizing short audio clips but struggle with long-form narrative audio, which requires temporal coherence and compositional reasoning. To address this gap, we propose AudioStory, a unified framework that integrates large language models (LLMs) with TTA systems to generate structured, long-form audio narratives. AudioStory possesses strong instruction-following reasoning generation capabilities. It employs LLMs to decompose complex narrative queries into temporally ordered sub-tasks with contextual cues, enabling coherent scene transitions and emotional tone consistency. AudioStory has two appealing features: (1) Decoupled bridging mechanism: AudioStory disentangles LLM-diffuser collaboration into two specialized components, i.e., a bridging query for intra-event semantic alignment and a residual query for cross-event coherence preservation. (2) End-to-end training: By unifying instruction comprehension and audio generation within a single end-to-end framework, AudioStory eliminates the need for modular training pipelines while enhancing synergy between components. Furthermore, we establish a benchmark AudioStory-10K, encompassing diverse domains such as animated soundscapes and natural sound narratives. Extensive experiments show the superiority of AudioStory on both single-audio generation and narrative audio generation, surpassing prior TTA baselines in both instruction-following ability and audio fidelity. Our code is available at https://github.com/TencentARC/AudioStory