더 나은 검색, 더 나쁜 견고성: 멀티홉 RAG가 업스트림 ASR 오류를 어떻게 증폭시키는가

초록

음성 기반 애플리케이션은 검색 모듈에 앞서 음성 질의를 자동 음성 인식(ASR)에 통과시키므로, ASR 오류가 고정된 선행 제약 조건으로 파이프라인에 유입된다. 우리는 표준 검색 증강 생성(RAG)에 대한 두 가지 확장, 즉 엔티티 그래프 연결과 반복적 재구성이 이러한 오류를 흡수하는지 또는 증폭시키는지를 경험적으로 검증한다. 신경망 TTS로 합성한 네 가지 영어 억양을 사용하여, 우리는 세 가지 다중 홉 QA 벤치마크(HotpotQA, 2WikiMultiHopQA, MuSiQue)에서 네 가지 RAG 구성을 클린 텍스트 오라클과 대비하여 평가한다. 구조적으로 더 풍부한 구성들이 ASR 입력 하에서 일반적으로 더 높은 절대 F1 점수를 유지한다 하더라도, 두 확장 모두 오류를 증폭시킨다. 즉, 세 벤치마크 모두에서 클린 텍스트와 WER이 가장 높은 억양 사이의 F1 격차는 단순 밀집 검색에서보다 이 확장들을 결합했을 때 36-67% 더 크다. 지배적인 실패 유형은 하나 이상의 질의 엔티티가 손상되는 것이며, 이는 네 가지 방법 모두에서 2WikiMultiHopQA의 성능 저하 사례 중 87-96%를 차지한다. 두 가지 경량의 표면 형태 완화 기법은 격차의 대부분을 그대로 남겨 두며, 이는 후속 검색 구조가 남은 엔티티 오류를 증폭시킴을 시사한다. 코드와 데이터는 https://github.com/ZhenghuaBao/spoken-multihop-rag 에서 공개한다.

English

Speech-based applications pass spoken queries through automatic speech recognition (ASR) before any retrieval module, so ASR errors enter the pipeline as a fixed upstream constraint. We empirically test whether two extensions to standard retrieval-augmented generation (RAG), entity-graph linking and iterative reformulation, absorb or amplify these errors. Using four English accents synthesized through neural TTS, we evaluate four RAG configurations on three multi-hop QA benchmarks (HotpotQA, 2WikiMultiHopQA and MuSiQue) against a clean-text oracle. Although the structurally richer configurations generally retain higher absolute F1 under ASR input, both extensions amplify the error: the F1 gap from clean text to the highest-WER accent is 36-67% larger under their combination than under naive dense retrieval, on all three benchmarks. The dominant failure mode is corruption of one or more query entities, accounting for 87-96% of degradation cases on 2WikiMultiHopQA across all four methods. Two lightweight surface-form mitigations leave most of the gap intact, indicating that downstream retrieval structure amplifies remaining entity errors. We release code and data at https://github.com/ZhenghuaBao/spoken-multihop-rag .