LAMAR: オープンな言語認識型多言語アライメントリランカー

要旨

多言語検索拡張生成において、検索器は複数言語で書かれた関連文書を取得し、それらは回答生成前に再順位付けされる。しかし、既存の多言語再順位付け器が、意味的に関連する候補を順序付ける際に文書の言語を考慮しているかどうかは明らかではない。我々の分析によれば、これらの再順位付け器は、言語間で意味的に等価な文書が利用可能であっても、クエリと同じ言語で書かれた文書を一貫して優先するわけではない。これは文書の言語が回答生成に影響を与える可能性があるためである。我々は、意味的関連性と言語的一貫性の両方を考慮するよう学習された、言語認識型多言語クロスエンコーダであるLAMARを公開する。LAMARはまず、英語を基盤とした関連性蒸留を用いて、多言語入力にわたって一貫した関連性スコアリングを確立し、次に言語的一貫性のための選好アラインメントを適用することで、意味的関連性を維持しつつ、クエリと同じ言語で書かれた文書がより高い順位を得るように促す。言語的一貫性を評価するために設計された統制実験では、LAMARは全体的および個別に調査されたすべての言語において最高の性能を達成した。また、LAMARは確立された多言語再順位付けベンチマークにおいても競争力を維持している。実用的な検索設定において、LAMARは第1段階で取得された候補を再順位付けする際、報告されたすべての指標で最良の結果を達成した。これらの結果は、LAMARが言語的一貫性を考慮しつつ、一般的な多言語再順位付けベンチマークで強力な性能を達成することを示している。

English

In multilingual retrieval augmented generation, a retriever can retrieve relevant documents written in multiple languages, which are subsequently reranked before answer generation. However, it remains unclear whether existing multilingual rerankers consider document language when ordering semantically relevant candidates. Our analysis shows that these rerankers do not consistently prioritize documents written in the same language as the query when semantically equivalent documents are available across languages, even though document language can affect answer generation. We release LAMAR, a language aware multilingual cross encoder trained to account for both semantic relevance and language coherence. LAMAR first uses English anchored relevance distillation to establish consistent relevance scoring across multilingual inputs and then applies preference alignment for language coherence to encourage documents written in the same language as the query to receive higher rankings while retaining semantic relevance. In a controlled experiment designed to assess language coherence, LAMAR achieves the best performance overall and across all languages examined individually. LAMAR also remains competitive on established multilingual reranking benchmarks. In practical retrieval settings, LAMAR achieves the best results across all reported metrics when reranking candidates retrieved in the first stage. These results demonstrate that LAMAR accounts for language coherence while achieving strong performance on general multilingual reranking benchmarks.