VibeVoice-ASR-Streaming テクニカルレポート

要旨

従来の話者属性付きASRシステムは、ASRと話者ダイアライゼーションを2つの別々のタスクとして扱っていました。近年、VibeVoice-ASRなどのエンドツーエンドモデルが、これら2つのタスクを単一のモデルに統合しました。しかし、既存の統合モデルは依然として主にオフライン認識を対象としており、リアルタイム音声アシスタントやエージェントに求められる低遅延要件を満たすことは困難です。この問題に取り組むため、本稿では、ストリーミング話者属性付きASRへのLLMベースのエンドツーエンドアプローチの先駆けとなるVibeVoice-ASR-Streamingを提案します。本モデルは、固定サイズの音声チャンク、少量の先読み音声、そして過去のテキストを交互に配置します。これにより、別個のダイアライゼーション段階を必要とせず、音声が到着するたびに「誰が何を言ったか」を生成できます。書き起こし精度については、7Bモデルが5つの評価セット全体で平均WER/CERが最も低い値を達成しています。話者帰属に関しては、13の評価設定のうち12で最良または最良タイの結果を達成しています。また、1.5Bモデルと7Bモデルの重みを推論コードとともに公開します。

English

Traditional speaker-attributed ASR systems treated ASR and speaker diarization as two separate tasks. Recently, end-to-end models such as VibeVoice-ASR have unified the two tasks within a single model. However, existing unified models still mainly support offline recognition, making it difficult to meet the low-latency requirements of real-time voice assistants and agents. To tackle this issue, we present VibeVoice-ASR-Streaming, one of the first LLM-based end-to-end approaches to streaming speaker-attributed ASR. It interleaves fixed-size audio chunks, a small amount of lookahead audio and previous text. This allows the model to produce ''who said what'' as speech arrives, without a separate diarization stage. For transcription accuracy, our 7B model achieves the lowest average WER/CER across five evaluation sets. For speaker attribution, it achieves the best or tied-best on 12 of 13 evaluation settings. We release the 1.5B and 7B model weights together with inference code.