Weet Wanneer te Fuseren: Onderzoek naar Niet-Engelse Hybride Retrieval in het Juridisch Domein

Know When to Fuse: Investigating Non-English Hybrid Retrieval in the Legal Domain

September 2, 2024

Auteurs: Antoine Louis, Gijs van Dijck, Gerasimos Spanakis

cs.AI

Samenvatting

Hybride zoekstrategieën zijn naar voren gekomen als een effectieve aanpak om de beperkingen van verschillende matchingparadigma's te compenseren, met name in domeinoverstijgende contexten waar aanzienlijke verbeteringen in de ophaalkwaliteit zijn waargenomen. Bestaand onderzoek richt zich echter voornamelijk op een beperkte set ophaalmethoden, die in paren worden geëvalueerd op domeingenerieke datasets die uitsluitend in het Engels zijn. In dit werk bestuderen we de effectiviteit van hybride zoekstrategieën over een verscheidenheid aan prominente ophaalmodellen binnen het onontgonnen gebied van het recht in de Franse taal, waarbij zowel zero-shot als domeinspecifieke scenario's worden beoordeeld. Onze bevindingen tonen aan dat in een zero-shot context het combineren van verschillende domeingenerieke modellen consistent betere prestaties oplevert in vergelijking met het gebruik van een enkel model, ongeacht de gebruikte fusiemethode. Verrassend genoeg ontdekken we dat wanneer modellen domeinspecifiek worden getraind, fusie over het algemeen de prestaties vermindert ten opzichte van het beste enkele systeem, tenzij scores worden gecombineerd met zorgvuldig afgestelde gewichten. Deze nieuwe inzichten, naast andere, breiden de toepasbaarheid van eerdere bevindingen uit naar een nieuw vakgebied en taal, en dragen bij aan een dieper begrip van hybride zoekstrategieën in niet-Engelstalige gespecialiseerde domeinen.

English

Hybrid search has emerged as an effective strategy to offset the limitations of different matching paradigms, especially in out-of-domain contexts where notable improvements in retrieval quality have been observed. However, existing research predominantly focuses on a limited set of retrieval methods, evaluated in pairs on domain-general datasets exclusively in English. In this work, we study the efficacy of hybrid search across a variety of prominent retrieval models within the unexplored field of law in the French language, assessing both zero-shot and in-domain scenarios. Our findings reveal that in a zero-shot context, fusing different domain-general models consistently enhances performance compared to using a standalone model, regardless of the fusion method. Surprisingly, when models are trained in-domain, we find that fusion generally diminishes performance relative to using the best single system, unless fusing scores with carefully tuned weights. These novel insights, among others, expand the applicability of prior findings across a new field and language, and contribute to a deeper understanding of hybrid search in non-English specialized domains.