検索の向上、堅牢性の低下：マルチホップRAGが上流のASRエラーを増幅する仕組み

要旨

音声ベースのアプリケーションは、検索モジュールに渡す前に自動音声認識（ASR）を介して音声クエリを処理するため、ASR誤りは固定された上流の制約としてパイプラインに入り込む。我々は、標準的な検索拡張生成（RAG）に対する2つの拡張、すなわちエンティティグラフリンキングと反復的再構成が、これらの誤りを吸収するのか、あるいは増幅するのかを実証的に検証する。ニューラルTTSで合成された4種類の英語アクセントを用いて、3つのマルチホップQAベンチマーク（HotpotQA、2WikiMultiHopQA、MuSiQue）において、4つのRAG構成をクリーンテキストのオラクルと比較して評価する。構造的に豊かな構成はASR入力下でも一般に高い絶対F1スコアを維持するものの、両拡張は誤りを増幅する。すなわち、クリーンテキストと最高単語誤り率（WER）のアクセントとの間のF1ギャップは、3つのベンチマークすべてにおいて、単純な密ベクトル検索を使用した場合よりも、これらの組み合わせを使用した場合の方が36〜67%大きくなる。主要な失敗モードはクエリ中の1つ以上のエンティティの破損であり、2WikiMultiHopQAでは4つの手法すべてにおいて性能低下事例の87〜96%を占める。2つの軽量な表層形の緩和策を適用してもギャップの大部分は残っており、下流の検索構造が残存するエンティティ誤りを増幅することを示している。コードとデータは https://github.com/ZhenghuaBao/spoken-multihop-rag で公開している。

English

Speech-based applications pass spoken queries through automatic speech recognition (ASR) before any retrieval module, so ASR errors enter the pipeline as a fixed upstream constraint. We empirically test whether two extensions to standard retrieval-augmented generation (RAG), entity-graph linking and iterative reformulation, absorb or amplify these errors. Using four English accents synthesized through neural TTS, we evaluate four RAG configurations on three multi-hop QA benchmarks (HotpotQA, 2WikiMultiHopQA and MuSiQue) against a clean-text oracle. Although the structurally richer configurations generally retain higher absolute F1 under ASR input, both extensions amplify the error: the F1 gap from clean text to the highest-WER accent is 36-67% larger under their combination than under naive dense retrieval, on all three benchmarks. The dominant failure mode is corruption of one or more query entities, accounting for 87-96% of degradation cases on 2WikiMultiHopQA across all four methods. Two lightweight surface-form mitigations leave most of the gap intact, indicating that downstream retrieval structure amplifies remaining entity errors. We release code and data at https://github.com/ZhenghuaBao/spoken-multihop-rag .