Знайте, когда объединять: исследование неанглоязычного гибридного поиска в юридической сфере.

Know When to Fuse: Investigating Non-English Hybrid Retrieval in the Legal Domain

September 2, 2024

Авторы: Antoine Louis, Gijs van Dijck, Gerasimos Spanakis

cs.AI

Аннотация

Гибридный поиск стал эффективной стратегией для компенсации ограничений различных парадигм сопоставления, особенно в контекстах вне области, где наблюдаются значительные улучшения качества извлечения. Однако существующие исследования в основном сосредоточены на ограниченном наборе методов извлечения, оцениваемых парами на общих для области наборах данных исключительно на английском языке. В данной работе мы изучаем эффективность гибридного поиска с использованием различных ведущих моделей извлечения в неисследованной области права на французском языке, оценивая как сценарии нулевого примера, так и внутриобластные сценарии. Наши результаты показывают, что в контексте нулевого примера объединение различных общедоменных моделей последовательно улучшает производительность по сравнению с использованием автономной модели, независимо от метода слияния. Удивительно, что когда модели обучены внутри области, мы обнаруживаем, что слияние в общем снижает производительность по сравнению с использованием лучшей одиночной системы, если только объединять оценки с тщательно настроенными весами. Эти новые идеи, среди прочего, расширяют применимость предыдущих результатов на новую область и язык, и способствуют более глубокому пониманию гибридного поиска в специализированных областях, не на английском языке.

English

Hybrid search has emerged as an effective strategy to offset the limitations of different matching paradigms, especially in out-of-domain contexts where notable improvements in retrieval quality have been observed. However, existing research predominantly focuses on a limited set of retrieval methods, evaluated in pairs on domain-general datasets exclusively in English. In this work, we study the efficacy of hybrid search across a variety of prominent retrieval models within the unexplored field of law in the French language, assessing both zero-shot and in-domain scenarios. Our findings reveal that in a zero-shot context, fusing different domain-general models consistently enhances performance compared to using a standalone model, regardless of the fusion method. Surprisingly, when models are trained in-domain, we find that fusion generally diminishes performance relative to using the best single system, unless fusing scores with carefully tuned weights. These novel insights, among others, expand the applicability of prior findings across a new field and language, and contribute to a deeper understanding of hybrid search in non-English specialized domains.