대규모 법률 임베딩 벤치마크(MLEB)

초록

본 논문에서는 현재까지 가장 규모가 크고 다양하며 포괄적인 오픈소스 법률 정보 검색 벤치마크인 MLEB(Massive Legal Embedding Benchmark)를 제안한다. MLEB는 미국, 영국, EU, 호주, 아일랜드, 싱가포르 등 여러 관할권과, 판례, 법률, 규제 지침, 계약, 문헌 등 다양한 문서 유형, 그리고 검색, 제로샷 분류, 질의응답 등 다양한 과제 유형을 아우르는 10개의 전문가 주석 데이터셋으로 구성된다. MLEB에 포함된 7개 데이터셋은 오픈소스 법률 정보 검색 환경에서의 분야 및 관할권 간 격차를 해소하기 위해 새롭게 구축되었다. 본 논문은 MLEB 구축 및 새로운 구성 데이터셋 생성 방법론을 상세히 기술하며, 재현 가능한 평가를 지원하기 위해 코드, 결과, 데이터를 공개한다.

English

We present the Massive Legal Embedding Benchmark (MLEB), the largest, most diverse, and most comprehensive open-source benchmark for legal information retrieval to date. MLEB consists of ten expert-annotated datasets spanning multiple jurisdictions (the US, UK, EU, Australia, Ireland, and Singapore), document types (cases, legislation, regulatory guidance, contracts, and literature), and task types (search, zero-shot classification, and question answering). Seven of the datasets in MLEB were newly constructed in order to fill domain and jurisdictional gaps in the open-source legal information retrieval landscape. We document our methodology in building MLEB and creating the new constituent datasets, and release our code, results, and data openly to assist with reproducible evaluations.

대규모 법률 임베딩 벤치마크(MLEB)

The Massive Legal Embedding Benchmark (MLEB)

초록

Support