Sapere quando fondere: Indagine sulla ricerca ibrida non in lingua inglese nel settore legale
Know When to Fuse: Investigating Non-English Hybrid Retrieval in the Legal Domain
September 2, 2024
Autori: Antoine Louis, Gijs van Dijck, Gerasimos Spanakis
cs.AI
Abstract
La ricerca ibrida è emersa come una strategia efficace per compensare i limiti dei diversi paradigmi di corrispondenza, specialmente in contesti al di fuori del dominio in cui sono state osservate notevoli migliorie nella qualità del recupero. Tuttavia, le ricerche esistenti si concentrano principalmente su un insieme limitato di metodi di recupero, valutati a coppie su set di dati generali del dominio esclusivamente in lingua inglese. In questo lavoro, studiamo l'efficacia della ricerca ibrida attraverso una varietà di modelli di recupero di spicco nel campo inesplorato del diritto in lingua francese, valutando sia scenari di zero-shot che in-domain. Le nostre scoperte rivelano che in un contesto zero-shot, la fusione di diversi modelli generali del dominio migliora costantemente le prestazioni rispetto all'uso di un modello autonomo, indipendentemente dal metodo di fusione. Sorprendentemente, quando i modelli sono addestrati in-domain, scopriamo che la fusione generalmente riduce le prestazioni rispetto all'uso del miglior sistema singolo, a meno che non si fondono i punteggi con pesi attentamente tarati. Queste nuove intuizioni, tra le altre, ampliano l'applicabilità delle scoperte precedenti in un nuovo campo e linguaggio, e contribuiscono a una comprensione più approfondita della ricerca ibrida in domini specializzati non in lingua inglese.
English
Hybrid search has emerged as an effective strategy to offset the limitations
of different matching paradigms, especially in out-of-domain contexts where
notable improvements in retrieval quality have been observed. However, existing
research predominantly focuses on a limited set of retrieval methods, evaluated
in pairs on domain-general datasets exclusively in English. In this work, we
study the efficacy of hybrid search across a variety of prominent retrieval
models within the unexplored field of law in the French language, assessing
both zero-shot and in-domain scenarios. Our findings reveal that in a zero-shot
context, fusing different domain-general models consistently enhances
performance compared to using a standalone model, regardless of the fusion
method. Surprisingly, when models are trained in-domain, we find that fusion
generally diminishes performance relative to using the best single system,
unless fusing scores with carefully tuned weights. These novel insights, among
others, expand the applicability of prior findings across a new field and
language, and contribute to a deeper understanding of hybrid search in
non-English specialized domains.