Legal RAG Bench: комплексный бенчмарк для юридических систем RAG

Legal RAG Bench: an end-to-end benchmark for legal RAG

March 2, 2026

Авторы: Abdur-Rahman Butler, Umar Butler

cs.AI

Аннотация

Мы представляем Legal RAG Bench — эталонный набор данных и методику оценки для тестирования сквозной производительности юридических RAG-систем. Как эталонный набор, Legal RAG Bench включает 4876 фрагментов из «Сборника уголовных обвинительных актов Виктории» вместе со 100 сложными, специально разработанными вопросами, требующими экспертных знаний в области уголовного права и процесса. Предоставлены как развернутые ответы, так и подтверждающие их фрагменты текста. Как методика оценки, Legal RAG Bench использует полный факторный план и новую систему иерархического декомпозирования ошибок, что позволяет проводить прямое сравнение вклада моделей поиска и логического вывода в RAG. Мы оценили три современные модели эмбеддингов (Isaacus Kanon 2 Embedder, Google Gemini Embedding 001 и OpenAI Text Embedding 3 Large) и две передовые большие языковые модели (Gemini 3.1 Pro и GPT-5.2), установив, что информационный поиск является основным фактором производительности юридических RAG-систем, тогда как LLM оказывают более умеренное влияние на корректность и обоснованность ответов. В частности, модель Kanon 2 Embedder оказала наибольшее положительное воздействие на производительность, улучшив среднюю корректность на 17.5 баллов, обоснованность на 4.5 балла и точность поиска на 34 балла. Мы наблюдаем, что многие ошибки, приписываемые галлюцинациям в юридических RAG-системах, на самом деле вызваны сбоями поиска, и делаем вывод, что поиск задает потолок производительности для многих современных юридических RAG-систем. Мы документируем причины и процесс создания Legal RAG Bench наряду с результатами наших оценок. Мы также открыто публикуем наш код и данные для содействия воспроизведению наших результатов.

English

We introduce Legal RAG Bench, a benchmark and evaluation methodology for assessing the end-to-end performance of legal RAG systems. As a benchmark, Legal RAG Bench consists of 4,876 passages from the Victorian Criminal Charge Book alongside 100 complex, hand-crafted questions demanding expert knowledge of criminal law and procedure. Both long-form answers and supporting passages are provided. As an evaluation methodology, Legal RAG Bench leverages a full factorial design and novel hierarchical error decomposition framework, enabling apples-to-apples comparisons of the contributions of retrieval and reasoning models in RAG. We evaluate three state-of-the-art embedding models (Isaacus' Kanon 2 Embedder, Google's Gemini Embedding 001, and OpenAI's Text Embedding 3 Large) and two frontier LLMs (Gemini 3.1 Pro and GPT-5.2), finding that information retrieval is the primary driver of legal RAG performance, with LLMs exerting a more moderate effect on correctness and groundedness. Kanon 2 Embedder, in particular, had the largest positive impact on performance, improving average correctness by 17.5 points, groundedness by 4.5 points, and retrieval accuracy by 34 points. We observe that many errors attributed to hallucinations in legal RAG systems are in fact triggered by retrieval failures, concluding that retrieval sets the ceiling for the performance of many modern legal RAG systems. We document why and how we built Legal RAG Bench alongside the results of our evaluations. We also openly release our code and data to assist with reproduction of our findings.