対話の蒸留：LLMベースの音声認識のための会話オーディオコンテキストの抽象的圧縮

要旨

標準的なLLMベースの音声認識システムは、通常、発話を孤立して処理するため、会話文脈を活用する能力が制限されています。本研究では、過去の対話ターンからのマルチモーダルな文脈がLLMベースのASRを改善するかどうか、およびその文脈を効率的に表現する方法を検討します。教師ありマルチターン学習後、会話文脈は主に文脈的実体の認識に役立つことがわかりました。しかし、生の文脈を条件付けすることは、過去ターンの音声トークン列が会話の長さに応じて急速に増加するため、計算コストが高くなります。この問題に対処するため、我々はAbstract Compressionを提案します。これは、過去ターンの音声部分を固定数の学習済み潜在トークンで置き換えながら、対応する転写文を明示的に保持する方法です。ドメイン内およびドメイン外の両テストセットにおいて、圧縮モデルは、より小さい過去ターン音声フットプリントで、生文脈条件付けの利益の一部を回復します。また、圧縮設定とそのトレードオフに関する詳細な分析も提供します。

English

Standard LLM-based speech recognition systems typically process utterances in isolation, limiting their ability to leverage conversational context. In this work, we study whether multimodal context from prior turns improves LLM-based ASR and how to represent that context efficiently. We find that, after supervised multi-turn training, conversational context mainly helps with the recognition of contextual entities. However, conditioning on raw context is expensive because the prior-turn audio token sequence grows rapidly with conversation length. To address this, we propose Abstract Compression, which replaces the audio portion of prior turns with a fixed number of learned latent tokens while retaining corresponding transcripts explicitly. On both in-domain and out-of-domain test sets, the compressed model recovers part of the gains of raw-context conditioning with a smaller prior-turn audio footprint. We also provide targeted analyses of the compression setup and its trade-offs.

対話の蒸留：LLMベースの音声認識のための会話オーディオコンテキストの抽象的圧縮

Distilling Conversations: Abstract Compression of Conversational Audio Context for LLM-based ASR

要旨

Support