AudioStory: 大規模言語モデルを用いた長編ナラティブ音声の生成

AudioStory: Generating Long-Form Narrative Audio with Large Language Models

August 27, 2025

著者: Yuxin Guo, Teng Wang, Yuying Ge, Shijie Ma, Yixiao Ge, Wei Zou, Ying Shan

cs.AI

要旨

近年のテキストから音声（TTA）生成の進展は、短い音声クリップの合成において優れた成果を上げているが、時間的な一貫性と構成的推論を必要とする長編ナラティブ音声の生成には課題を抱えている。このギャップを埋めるため、我々はAudioStoryを提案する。これは、大規模言語モデル（LLM）とTTAシステムを統合し、構造化された長編音声ナラティブを生成する統一フレームワークである。AudioStoryは、強力な指示追従型推論生成能力を有しており、LLMを用いて複雑なナラティブクエリを文脈的な手がかりとともに時間的に順序付けられたサブタスクに分解し、一貫したシーン遷移と感情的なトーンの一貫性を実現する。AudioStoryには2つの魅力的な特徴がある：（1）分離されたブリッジングメカニズム：AudioStoryは、LLMとディフューザーの協力を、イベント内の意味的整合性を図るブリッジングクエリと、イベント間の一貫性を保つ残差クエリという2つの専門化されたコンポーネントに分離する。（2）エンドツーエンドのトレーニング：指示理解と音声生成を単一のエンドツーエンドフレームワーク内に統合することで、AudioStoryはモジュール型トレーニングパイプラインの必要性を排除し、コンポーネント間のシナジーを強化する。さらに、我々はアニメーションサウンドスケープや自然音ナラティブなど多様なドメインを網羅するベンチマークAudioStory-10Kを確立した。広範な実験により、AudioStoryは単一音声生成およびナラティブ音声生成の両方において、従来のTTAベースラインを指示追従能力と音声忠実度の両面で凌駕する優位性を示した。我々のコードはhttps://github.com/TencentARC/AudioStoryで公開されている。

English

Recent advances in text-to-audio (TTA) generation excel at synthesizing short audio clips but struggle with long-form narrative audio, which requires temporal coherence and compositional reasoning. To address this gap, we propose AudioStory, a unified framework that integrates large language models (LLMs) with TTA systems to generate structured, long-form audio narratives. AudioStory possesses strong instruction-following reasoning generation capabilities. It employs LLMs to decompose complex narrative queries into temporally ordered sub-tasks with contextual cues, enabling coherent scene transitions and emotional tone consistency. AudioStory has two appealing features: (1) Decoupled bridging mechanism: AudioStory disentangles LLM-diffuser collaboration into two specialized components, i.e., a bridging query for intra-event semantic alignment and a residual query for cross-event coherence preservation. (2) End-to-end training: By unifying instruction comprehension and audio generation within a single end-to-end framework, AudioStory eliminates the need for modular training pipelines while enhancing synergy between components. Furthermore, we establish a benchmark AudioStory-10K, encompassing diverse domains such as animated soundscapes and natural sound narratives. Extensive experiments show the superiority of AudioStory on both single-audio generation and narrative audio generation, surpassing prior TTA baselines in both instruction-following ability and audio fidelity. Our code is available at https://github.com/TencentARC/AudioStory