LegalPincite: 다중 수준 법률 정보 검색 데이터셋

초록

법률 정보 검색(IR)의 일반적인 작업 중 하나는 판례 모음에서 관련 법적 출처를 찾는 것이다. 법률 실무에서는 특정 판결문 단락에 대한 정확한 인용(pincite)이 종종 요구되지만, 기존의 공개 법률 IR 데이터셋 대부분은 단락 수준의 인용 주석을 갖추지 못하고 있다. 더욱이 이러한 정보를 포함하는 공개 데이터셋은 질의 텍스트에 데이터 누출이 있으며, 인용 관계에 있지 않은 단락을 코퍼스에서 제외하기 때문에 비현실적이고 지나치게 단순화된 검색 환경을 조성하여 성능이 부풀려질 수 있다. 이러한 한계를 해결하기 위해, 우리는 유럽연합 사법재판소(CJEU) 판결문으로 구축한 대규모 법률 IR 데이터셋을 제공한다. 이 데이터셋은 (i) 인용 정보가 제거된 마스킹된 사건/단락 질의, (ii) 모든 단락을 포함하는 코퍼스, (iii) 부분적으로 인간 전문가의 검증을 거친 사건 및 단락 수준의 정답 인용을 포함한다. 우리의 데이터셋은 사건-대-사건, 단락-대-사건, 단락-대-단락 검색과 같은 다양한 질의-문서 수준에서 법률 IR 방법의 개발과 엄격한 평가를 모두 지원한다. 데이터셋 링크: https://huggingface.co/datasets/theresiavr/legalpincite

English

A common task in legal Information Retrieval (IR) is to find relevant legal sources from case-law collections. While legal practice often requires pinpoint citations (pincites) to specific case paragraphs, most existing public legal IR datasets lack paragraph-level citation annotations. Yet, publicly available datasets with such information contain data leakage in the query text and exclude paragraphs that are neither citing nor cited from the corpora, creating an unrealistic and oversimplified retrieval setting, potentially leading to inflated performance. To address these limitations, we contribute a large-scale legal IR dataset constructed from Court of Justice of the European Union (CJEU) judgments. The dataset contains: (i) masked case/paragraph queries, with removed citation information; (ii) a corpus that includes all paragraphs; and (iii) case- and paragraph-level ground-truth citations, with partial human expert validation. Our dataset supports both the development and rigorous evaluation of legal IR methods, at multiple query-document levels (case-to-case, paragraph-to-case, and paragraph-to-paragraph retrieval). Link to dataset: https://huggingface.co/datasets/theresiavr/legalpincite