AudioStory: Generazione di Narrazioni Audio di Lungo Formato con Modelli Linguistici di Grande Scala

AudioStory: Generating Long-Form Narrative Audio with Large Language Models

August 27, 2025

Autori: Yuxin Guo, Teng Wang, Yuying Ge, Shijie Ma, Yixiao Ge, Wei Zou, Ying Shan

cs.AI

Abstract

I recenti progressi nella generazione testo-audio (TTA) eccellono nella sintesi di brevi clip audio, ma incontrano difficoltà con l'audio narrativo di lunga durata, che richiede coerenza temporale e ragionamento compositivo. Per colmare questa lacuna, proponiamo AudioStory, un framework unificato che integra modelli linguistici di grandi dimensioni (LLM) con sistemi TTA per generare narrazioni audio strutturate e di lunga durata. AudioStory possiede forti capacità di generazione ragionata basata su istruzioni. Utilizza gli LLM per scomporre query narrative complesse in sotto-attività ordinate temporalmente con indicazioni contestuali, consentendo transizioni coerenti tra scene e coerenza del tono emotivo. AudioStory presenta due caratteristiche interessanti: (1) Meccanismo di collegamento disaccoppiato: AudioStory separa la collaborazione tra LLM e diffusore in due componenti specializzati, ovvero una query di collegamento per l'allineamento semantico intra-evento e una query residua per la preservazione della coerenza inter-evento. (2) Addestramento end-to-end: Unificando la comprensione delle istruzioni e la generazione audio all'interno di un unico framework end-to-end, AudioStory elimina la necessità di pipeline di addestramento modulari, migliorando la sinergia tra i componenti. Inoltre, abbiamo stabilito un benchmark AudioStory-10K, che copre diversi domini come paesaggi sonori animati e narrazioni sonore naturali. Esperimenti estensivi dimostrano la superiorità di AudioStory sia nella generazione di audio singoli che nella generazione di audio narrativi, superando i precedenti baseline TTA sia nella capacità di seguire le istruzioni che nella fedeltà audio. Il nostro codice è disponibile all'indirizzo https://github.com/TencentARC/AudioStory.

English

Recent advances in text-to-audio (TTA) generation excel at synthesizing short audio clips but struggle with long-form narrative audio, which requires temporal coherence and compositional reasoning. To address this gap, we propose AudioStory, a unified framework that integrates large language models (LLMs) with TTA systems to generate structured, long-form audio narratives. AudioStory possesses strong instruction-following reasoning generation capabilities. It employs LLMs to decompose complex narrative queries into temporally ordered sub-tasks with contextual cues, enabling coherent scene transitions and emotional tone consistency. AudioStory has two appealing features: (1) Decoupled bridging mechanism: AudioStory disentangles LLM-diffuser collaboration into two specialized components, i.e., a bridging query for intra-event semantic alignment and a residual query for cross-event coherence preservation. (2) End-to-end training: By unifying instruction comprehension and audio generation within a single end-to-end framework, AudioStory eliminates the need for modular training pipelines while enhancing synergy between components. Furthermore, we establish a benchmark AudioStory-10K, encompassing diverse domains such as animated soundscapes and natural sound narratives. Extensive experiments show the superiority of AudioStory on both single-audio generation and narrative audio generation, surpassing prior TTA baselines in both instruction-following ability and audio fidelity. Our code is available at https://github.com/TencentARC/AudioStory