凍結VLMを用いた訓練不要の音声中心オムニ理解

要旨

音声・視覚理解は、モデルが音声内容、視覚イベント、およびそれらの時間的関係を統合的に解釈する必要があるため、依然として困難な課題である。既存のオムニモデルは通常、専用の音声エンコーダを導入し、高コストな音声・映像・テキスト学習に依存している。このため、オムニ機能は特定のVLMバックボーンに密接に結合され、既存の視覚能力や推論能力が弱まる可能性がある。以上の背景から、(1) 新しいVLMごとにネイティブなオムニ学習が真に必要なのか、(2) 元のバックボーンを維持したまま音声中心のオムニ機能を追加できるのか、(3) より豊かな音響表現が不可欠となる場面はどこなのか、という3つの問いが生じる。我々は、Training-Free Omni（TFO）を提案する。TFOは、アーキテクチャの変更もマルチモーダル再調整も必要とせず、凍結されたVLMを音声中心のオムニモデルへ変換するプラグ・アンド・プレイ型フレームワークである。TFOはWhisperを用いて、信頼度フィルタリング済みのタイムスタンプ付き書き起こしを抽出し、これをVLMの既存の言語インターフェース経由でルーティングする一方、視覚経路は変更しない。56のベンチマークと21言語にわたるネイティブオムニモデルとの対応比較において、TFOは音声・視覚理解で競争力のある性能を示し、全5つのモデル設定で音声のみの平均性能を向上させ、多言語音声処理で大幅な改善を達成する。また、VLMを凍結することで、対応するネイティブオムニチェックポイントと比較して、画像・動画理解、視覚的グラウンディング、コーディング、数学的推論、医療質問応答において、概してより強力な性能が維持される。これらの結果は、強力な音声中心のオムニ理解は、高コストなバックボーン特化型学習ではなく、モジュール式の音声–言語ルーティングによって多くの場合達成可能であることを示している。

English

Audio-visual understanding remains challenging because models must jointly interpret spoken content, visual events, and their temporal relationships. Existing omni models typically introduce dedicated audio encoders and rely on expensive audio-video-text training, tightly coupling omni capability to specific VLM backbones and potentially weakening their existing visual and reasoning abilities. This raises three questions: whether native omni training is necessary for every new VLM, whether speech-centric omni capability can be added while preserving the original backbone, and where richer acoustic representations remain essential. We introduce Training-Free Omni (TFO), a plug-and-play framework that converts a frozen VLM into a speech-centric omni model without architectural modification, or multimodal re-alignment. TFO uses Whisper to extract confidence-filtered, timestamped transcripts and routes them through the VLM's existing language interface, while leaving its visual pathway unchanged. Across matched comparisons with native omni models on 56 benchmarks and 21 languages, TFO is competitive on audio-visual understanding, improves average audio-only performance across all five model settings, and achieves substantial multilingual speech gains. Freezing the VLM also generally preserves stronger image/video understanding, visual grounding, coding, mathematical reasoning, and medical question answering than the corresponding native omni checkpoints. These results show that strong speech-centric omni understanding can often be obtained through modular audio-to-language routing rather than costly backbone-specific training.