Verbetering van Semantische Nabijheid in Informatieontsluiting door Cross-linguale Uitlijning

Improving Semantic Proximity in Information Retrieval through Cross-Lingual Alignment

April 7, 2026

Auteurs: Seongtae Hong, Youngjoon Jang, Jungseob Lee, Hyeonseok Moon, Heuiseok Lim

cs.AI

Samenvatting

Met de toenemende toegankelijkheid en het gebruik van meertalige documenten is Cross-Lingual Information Retrieval (CLIR) een belangrijk onderzoeksgebied geworden. Traditioneel worden CLIR-taken uitgevoerd onder omstandigheden waarbij de taal van de documenten verschilt van die van de zoekvragen, en doorgaans zijn de documenten geschreven in één samenhangende taal. In dit artikel benadrukken we dat in een dergelijke setting het vermogen tot cross-linguale alignatie mogelijk niet voldoende wordt geëvalueerd. We observeren specifiek dat, in een documentenverzameling waar Engelstalige documenten naast documenten in een andere taal voorkomen, de meeste meertalige retrievers de neiging hebben om niet-gerelateerde Engelstalige documenten voor te trekken boven het gerelateerde document dat in dezelfde taal als de zoekvraag is geschreven. Om dit fenomeen rigoureus te analyseren en te kwantificeren, introduceren we diverse scenario's en metrieken die zijn ontworpen om de cross-linguale alignatieprestatie van meertalige retrievalmodellen te evalueren. Verder stellen we, om de cross-linguale prestaties onder deze uitdagende omstandigheden te verbeteren, een nieuwe trainingsstrategie voor die gericht is op het versterken van cross-linguale alignatie. Met slechts een kleine dataset van 2,8k voorbeelden verbetert onze methode de cross-linguale retrievalprestaties aanzienlijk en vermindert tegelijkertijd het probleem van de Engelse voorkeur. Uitgebreide analyses tonen aan dat de voorgestelde methode de cross-linguale alignatiecapaciteiten van de meeste meertalige embeddingmodellen substantieel versterkt.

English

With the increasing accessibility and utilization of multilingual documents, Cross-Lingual Information Retrieval (CLIR) has emerged as an important research area. Conventionally, CLIR tasks have been conducted under settings where the language of documents differs from that of queries, and typically, the documents are composed in a single coherent language. In this paper, we highlight that in such a setting, the cross-lingual alignment capability may not be evaluated adequately. Specifically, we observe that, in a document pool where English documents coexist with another language, most multilingual retrievers tend to prioritize unrelated English documents over the related document written in the same language as the query. To rigorously analyze and quantify this phenomenon, we introduce various scenarios and metrics designed to evaluate the cross-lingual alignment performance of multilingual retrieval models. Furthermore, to improve cross-lingual performance under these challenging conditions, we propose a novel training strategy aimed at enhancing cross-lingual alignment. Using only a small dataset consisting of 2.8k samples, our method significantly improves the cross-lingual retrieval performance while simultaneously mitigating the English inclination problem. Extensive analyses demonstrate that the proposed method substantially enhances the cross-lingual alignment capabilities of most multilingual embedding models.