LAMAR: 오픈 언어 인식 다국어 정렬 리랭커

초록

다국어 검색 증강 생성에서는 검색기가 여러 언어로 작성된 관련 문서를 검색한 후, 답변 생성 전에 해당 문서들을 재순위화한다. 그러나 기존의 다국어 재순위화기가 의미적으로 관련된 후보들을 정렬할 때 문서 언어를 고려하는지는 여전히 불분명하다. 본 분석에 따르면, 문서 언어가 답변 생성에 영향을 미칠 수 있음에도 불구하고 이러한 재순위화기들은 언어 간 의미적으로 동등한 문서가 존재할 때 질의와 동일한 언어로 작성된 문서를 일관되게 우선순위에 두지 않는다. 이에 우리는 의미적 관련성과 언어 일관성을 모두 고려하도록 훈련된 언어 인식 다국어 교차 인코더 LAMAR을 공개한다. LAMAR은 먼저 영어 기반 관련성 증류를 통해 다국어 입력 전반에 걸쳐 일관된 관련성 점수를 확립한 후, 언어 일관성을 위한 선호도 정렬을 적용하여 의미적 관련성을 유지하면서 질의와 동일한 언어로 작성된 문서가 더 높은 순위를 받도록 장려한다. 언어 일관성을 평가하기 위해 설계된 통제 실험에서 LAMAR은 전체 및 개별적으로 검토된 모든 언어에서 최고의 성능을 달성했다. 또한 LAMAR은 기존의 다국어 재순위화 벤치마크에서도 경쟁력을 유지한다. 실제 검색 환경에서 LAMAR은 첫 번째 단계에서 검색된 후보들을 재순위화할 때 보고된 모든 지표에서 최고의 결과를 달성했다. 이러한 결과는 LAMAR이 언어 일관성을 고려하면서도 일반적인 다국어 재순위화 벤치마크에서 강력한 성능을 보임을 입증한다.

English

In multilingual retrieval augmented generation, a retriever can retrieve relevant documents written in multiple languages, which are subsequently reranked before answer generation. However, it remains unclear whether existing multilingual rerankers consider document language when ordering semantically relevant candidates. Our analysis shows that these rerankers do not consistently prioritize documents written in the same language as the query when semantically equivalent documents are available across languages, even though document language can affect answer generation. We release LAMAR, a language aware multilingual cross encoder trained to account for both semantic relevance and language coherence. LAMAR first uses English anchored relevance distillation to establish consistent relevance scoring across multilingual inputs and then applies preference alignment for language coherence to encourage documents written in the same language as the query to receive higher rankings while retaining semantic relevance. In a controlled experiment designed to assess language coherence, LAMAR achieves the best performance overall and across all languages examined individually. LAMAR also remains competitive on established multilingual reranking benchmarks. In practical retrieval settings, LAMAR achieves the best results across all reported metrics when reranking candidates retrieved in the first stage. These results demonstrate that LAMAR accounts for language coherence while achieving strong performance on general multilingual reranking benchmarks.