Verbesserung der semantischen Nähe in der Informationsgewinnung durch cross-linguale Ausrichtung

Improving Semantic Proximity in Information Retrieval through Cross-Lingual Alignment

April 7, 2026

Autoren: Seongtae Hong, Youngjoon Jang, Jungseob Lee, Hyeonseok Moon, Heuiseok Lim

cs.AI

Zusammenfassung

Mit der zunehmenden Verfügbarkeit und Nutzung mehrsprachiger Dokumente hat sich die cross-linguale Informationsbeschaffung (CLIR) zu einem wichtigen Forschungsgebiet entwickelt. Herkömmlicherweise wurden CLIR-Aufgaben unter Rahmenbedingungen durchgeführt, bei denen sich die Sprache der Dokumente von der der Anfragen unterscheidet und die Dokumente typischerweise in einer einzigen kohärenten Sprache verfasst sind. In diesem Beitrag heben wir hervor, dass in einem solchen Setting die Fähigkeit zur cross-lingualen Ausrichtung möglicherweise nicht angemessen bewertet wird. Insbesondere beobachten wir, dass in einem Dokumentenpool, in dem englischsprachige Dokumente mit einer anderen Sprache koexistieren, die meisten mehrsprachigen Retrieval-Systeme dazu neigen, nicht zusammenhängende englische Dokumente gegenüber dem verwandten Dokument, das in derselben Sprache wie die Anfrage verfasst ist, zu priorisieren. Um dieses Phänomen rigoros zu analysieren und zu quantifizieren, führen wir verschiedene Szenarien und Metriken ein, die dazu dienen, die cross-linguale Ausrichtungsleistung mehrsprachiger Retrieval-Modelle zu bewerten. Darüber hinaus schlagen wir eine neuartige Trainingsstrategie vor, um die cross-linguale Leistung unter diesen anspruchsvollen Bedingungen zu verbessern und die cross-linguale Ausrichtung zu verstärken. Unter Verwendung eines kleinen Datensatzes von nur 2.800 Stichproben verbessert unsere Methode die cross-linguale Retrieval-Leistung erheblich und mildert gleichzeitig das Problem der Englisch-Präferenz. Umfassende Analysen zeigen, dass die vorgeschlagene Methode die cross-lingualen Ausrichtungsfähigkeiten der meisten mehrsprachigen Embedding-Modelle wesentlich verbessert.

English

With the increasing accessibility and utilization of multilingual documents, Cross-Lingual Information Retrieval (CLIR) has emerged as an important research area. Conventionally, CLIR tasks have been conducted under settings where the language of documents differs from that of queries, and typically, the documents are composed in a single coherent language. In this paper, we highlight that in such a setting, the cross-lingual alignment capability may not be evaluated adequately. Specifically, we observe that, in a document pool where English documents coexist with another language, most multilingual retrievers tend to prioritize unrelated English documents over the related document written in the same language as the query. To rigorously analyze and quantify this phenomenon, we introduce various scenarios and metrics designed to evaluate the cross-lingual alignment performance of multilingual retrieval models. Furthermore, to improve cross-lingual performance under these challenging conditions, we propose a novel training strategy aimed at enhancing cross-lingual alignment. Using only a small dataset consisting of 2.8k samples, our method significantly improves the cross-lingual retrieval performance while simultaneously mitigating the English inclination problem. Extensive analyses demonstrate that the proposed method substantially enhances the cross-lingual alignment capabilities of most multilingual embedding models.