Массивный бенчмарк юридических эмбеддингов (MLEB)
The Massive Legal Embedding Benchmark (MLEB)
October 22, 2025
Авторы: Umar Butler, Abdur-Rahman Butler, Adrian Lucas Malec
cs.AI
Аннотация
Мы представляем Massive Legal Embedding Benchmark (MLEB) — на сегодняшний день крупнейший, наиболее разнообразный и всеобъемлющий открытый бенчмарк для информационного поиска в юридической сфере. MLEB включает десять экспертно-аннотированных наборов данных, охватывающих различные юрисдикции (США, Великобритания, ЕС, Австралия, Ирландия и Сингапур), типы документов (судебные дела, законодательство, нормативные руководства, договоры и научная литература) и типы задач (поиск, классификация с нулевым обучением и ответы на вопросы). Семь наборов данных в составе MLEB были созданы заново для заполнения предметных и юрисдикционных пробелов в ландшафте открытых систем юридического поиска. Мы описываем нашу методологию построения MLEB и создания новых входящих в него наборов данных, а также открыто публикуем наш код, результаты и данные для обеспечения воспроизводимости оценок.
English
We present the Massive Legal Embedding Benchmark (MLEB), the largest, most
diverse, and most comprehensive open-source benchmark for legal information
retrieval to date. MLEB consists of ten expert-annotated datasets spanning
multiple jurisdictions (the US, UK, EU, Australia, Ireland, and Singapore),
document types (cases, legislation, regulatory guidance, contracts, and
literature), and task types (search, zero-shot classification, and question
answering). Seven of the datasets in MLEB were newly constructed in order to
fill domain and jurisdictional gaps in the open-source legal information
retrieval landscape. We document our methodology in building MLEB and creating
the new constituent datasets, and release our code, results, and data openly to
assist with reproducible evaluations.