ASRと熟考処理のための音声条件付き拡散LLM

Audio-Conditioned Diffusion LLMs for ASR and Deliberation Processing

September 20, 2025

著者: Mengqi Wang, Zhan Liu, Zengrui Jin, Guangzhi Sun, Chao Zhang, Philip C. Woodland

cs.AI

要旨

拡散ベースの大規模言語モデル（DLLMs）は、最近、自己回帰型デコーダの代替として注目を集めています。本研究では、拡散ベースの大規模言語モデルLLaDAを自動音声認識（ASR）に適用する実証研究を紹介します。まず、Whisper-LLaMAの転写結果に対する外部の熟考型処理モジュールとしての利用を検討します。LLaDAの双方向注意機構とノイズ除去能力を活用し、ランダムマスキング、低信頼度マスキング、および半自己回帰戦略を探索し、Whisper-LLaDAがベースラインと比較してWERを大幅に低減することを示します。LibriSpeechでは、最良のカスケードシステムがtest-clean/test-otherで2.25%/4.94%のWERを達成し、test-other分割においてWhisper-LLaMAベースラインに対して12.3%の相対的改善を実現しました。一方、音響特徴を持たないプレーンテキストのLLaDAは精度を向上させることができず、音声条件付き埋め込みの重要性が浮き彫りになりました。さらに、Whisper-LLaDAを拡散ベースおよび半自己回帰デコーディングを用いたASRのスタンドアロンデコーダとして評価します。ほとんどの実験設定では、Whisper-LLaMAベースラインよりも高速な推論を実現しましたが、認識精度はわずかに低くなりました。これらの知見は、ASRにおける拡散ベースのLLMsの実証的な視点を提供し、改善のための有望な方向性を示唆しています。

English

Diffusion-based large language models (DLLMs) have recently attracted growing interest as an alternative to autoregressive decoders. In this work, we present an empirical study on using the diffusion-based large language model LLaDA for automatic speech recognition (ASR). We first investigate its use as an external deliberation-based processing module for Whisper-LLaMA transcripts. By leveraging the bidirectional attention and denoising capabilities of LLaDA, we explore random masking, low-confidence masking, and semi-autoregressive strategies, showing that Whisper-LLaDA substantially reduces WER compared with the baseline. On LibriSpeech, the best cascade system achieves 2.25%/4.94% WER on test-clean/test-other, representing a 12.3% relative improvement over the Whisper-LLaMA baseline on the test-other split. In contrast, a plain-text LLaDA without acoustic features fails to improve accuracy, highlighting the importance of audio-conditioned embeddings. We further evaluate Whisper-LLaDA as a standalone decoder for ASR with diffusion-based and semi-autoregressive decoding. Most experimental configurations achieve faster inference than the Whisper-LLaMA baseline, although recognition accuracy is slightly lower. These findings offer an empirical view of diffusion-based LLMs for ASR and point to promising directions for improvements.