Повышение семантической близости в информационном поиске посредством кросс-лингвального выравнивания

Improving Semantic Proximity in Information Retrieval through Cross-Lingual Alignment

April 7, 2026

Авторы: Seongtae Hong, Youngjoon Jang, Jungseob Lee, Hyeonseok Moon, Heuiseok Lim

cs.AI

Аннотация

С ростом доступности и использования многоязычных документов кросс-лингвальный информационный поиск (CLIR) стал важной областью исследований. Традиционно задачи CLIR выполнялись в условиях, когда язык документов отличается от языка запросов, причём документы обычно составлены на одном связном языке. В данной статье мы подчёркиваем, что в такой постановке кросс-лингвальная способность выравнивания может оцениваться недостаточно адекватно. В частности, мы наблюдаем, что в пуле документов, где английские документы сосуществуют с документами на другом языке, большинство многоязычных систем поиска склонны отдавать приоритет несвязанным английским документам перед релевантным документом, написанным на том же языке, что и запрос. Для строгого анализа и количественной оценки этого феномена мы вводим различные сценарии и метрики, предназначенные для оценки кросс-лингвальной способности выравнивания многоязычных моделей поиска. Кроме того, для улучшения кросс-лингвальной производительности в этих сложных условиях мы предлагаем новую стратегию обучения, направленную на усиление кросс-лингвального выравнивания. Используя всего небольшой набор данных из 2,8 тыс. примеров, наш метод значительно улучшает производительность кросс-лингвального поиска, одновременно смягчая проблему предпочтения английскому языку. Обширный анализ демонстрирует, что предложенный метод существенно усиливает кросс-лингвальные способности выравнивания большинства многоязычных моделей эмбеддингов.

English

With the increasing accessibility and utilization of multilingual documents, Cross-Lingual Information Retrieval (CLIR) has emerged as an important research area. Conventionally, CLIR tasks have been conducted under settings where the language of documents differs from that of queries, and typically, the documents are composed in a single coherent language. In this paper, we highlight that in such a setting, the cross-lingual alignment capability may not be evaluated adequately. Specifically, we observe that, in a document pool where English documents coexist with another language, most multilingual retrievers tend to prioritize unrelated English documents over the related document written in the same language as the query. To rigorously analyze and quantify this phenomenon, we introduce various scenarios and metrics designed to evaluate the cross-lingual alignment performance of multilingual retrieval models. Furthermore, to improve cross-lingual performance under these challenging conditions, we propose a novel training strategy aimed at enhancing cross-lingual alignment. Using only a small dataset consisting of 2.8k samples, our method significantly improves the cross-lingual retrieval performance while simultaneously mitigating the English inclination problem. Extensive analyses demonstrate that the proposed method substantially enhances the cross-lingual alignment capabilities of most multilingual embedding models.