Der Massive Legal Embedding Benchmark (MLEB)
The Massive Legal Embedding Benchmark (MLEB)
October 22, 2025
papers.authors: Umar Butler, Abdur-Rahman Butler, Adrian Lucas Malec
cs.AI
papers.abstract
Wir präsentieren den Massive Legal Embedding Benchmark (MLEB), den bisher größten, vielfältigsten und umfassendsten Open-Source-Benchmark für juristisches Information-Retrieval. MLEB besteht aus zehn von Experten annotierten Datensätzen, die mehrere Rechtsgebiete (USA, UK, EU, Australien, Irland und Singapur), Dokumenttypen (Gerichtsurteile, Gesetzgebung, behördliche Leitlinien, Verträge und Fachliteratur) und Aufgabentypen (Suche, Zero-Shot-Klassifikation und Fragebeantwortung) abdecken. Sieben der Datensätze in MLEB wurden neu erstellt, um domänenspezifische und rechtsgebietsbezogene Lücken in der Open-Source-Landschaft des juristischen Information-Retrievals zu schließen. Wir dokumentieren unsere Methodik zur Erstellung von MLEB und der neuen Teil-Datensätze und veröffentlichen unseren Code, Ergebnisse und Daten offen, um reproduzierbare Evaluationen zu unterstützen.
English
We present the Massive Legal Embedding Benchmark (MLEB), the largest, most
diverse, and most comprehensive open-source benchmark for legal information
retrieval to date. MLEB consists of ten expert-annotated datasets spanning
multiple jurisdictions (the US, UK, EU, Australia, Ireland, and Singapore),
document types (cases, legislation, regulatory guidance, contracts, and
literature), and task types (search, zero-shot classification, and question
answering). Seven of the datasets in MLEB were newly constructed in order to
fill domain and jurisdictional gaps in the open-source legal information
retrieval landscape. We document our methodology in building MLEB and creating
the new constituent datasets, and release our code, results, and data openly to
assist with reproducible evaluations.