Legal RAG Bench: un benchmark integral para RAG jurídico

Legal RAG Bench: an end-to-end benchmark for legal RAG

March 2, 2026

Autores: Abdur-Rahman Butler, Umar Butler

cs.AI

Resumen

Presentamos Legal RAG Bench, un punto de referencia y una metodología de evaluación para valorar el rendimiento integral de los sistemas jurídicos de RAG. Como benchmark, Legal RAG Bench consta de 4.876 fragmentos del Victorian Criminal Charge Book junto con 100 preguntas complejas, elaboradas manualmente, que exigen un conocimiento experto en derecho penal y procedimiento. Se proporcionan tanto respuestas de desarrollo extenso como los pasajes de apoyo correspondientes. Como metodología de evaluación, Legal RAG Bench aprovecha un diseño factorial completo y un novedoso marco de descomposición jerárquica de errores, permitiendo comparaciones homogéneas de las contribuciones de los modelos de recuperación y de razonamiento en RAG. Evaluamos tres modelos de embeddings de última generación (Kanon 2 Embedder de Isaacus, Gemini Embedding 001 de Google y Text Embedding 3 Large de OpenAI) y dos LLMs de vanguardia (Gemini 3.1 Pro y GPT-5.2), y encontramos que la recuperación de información es el principal impulsor del rendimiento de los sistemas jurídicos de RAG, mientras que los LLMs ejercen un efecto más moderado en la corrección y la fundamentación. Kanon 2 Embedder, en particular, tuvo el impacto positivo más significativo en el rendimiento, mejorando la corrección media en 17,5 puntos, la fundamentación en 4,5 puntos y la precisión de la recuperación en 34 puntos. Observamos que muchos errores atribuidos a alucinaciones en los sistemas jurídicos de RAG son, en realidad, desencadenados por fallos en la recuperación, lo que nos lleva a concluir que la recuperación establece el límite máximo de rendimiento para muchos sistemas jurídicos de RAG modernos. Documentamos el porqué y el cómo construimos Legal RAG Bench junto con los resultados de nuestras evaluaciones. También liberamos abiertamente nuestro código y datos para facilitar la reproducción de nuestros hallazgos.

English

We introduce Legal RAG Bench, a benchmark and evaluation methodology for assessing the end-to-end performance of legal RAG systems. As a benchmark, Legal RAG Bench consists of 4,876 passages from the Victorian Criminal Charge Book alongside 100 complex, hand-crafted questions demanding expert knowledge of criminal law and procedure. Both long-form answers and supporting passages are provided. As an evaluation methodology, Legal RAG Bench leverages a full factorial design and novel hierarchical error decomposition framework, enabling apples-to-apples comparisons of the contributions of retrieval and reasoning models in RAG. We evaluate three state-of-the-art embedding models (Isaacus' Kanon 2 Embedder, Google's Gemini Embedding 001, and OpenAI's Text Embedding 3 Large) and two frontier LLMs (Gemini 3.1 Pro and GPT-5.2), finding that information retrieval is the primary driver of legal RAG performance, with LLMs exerting a more moderate effect on correctness and groundedness. Kanon 2 Embedder, in particular, had the largest positive impact on performance, improving average correctness by 17.5 points, groundedness by 4.5 points, and retrieval accuracy by 34 points. We observe that many errors attributed to hallucinations in legal RAG systems are in fact triggered by retrieval failures, concluding that retrieval sets the ceiling for the performance of many modern legal RAG systems. We document why and how we built Legal RAG Bench alongside the results of our evaluations. We also openly release our code and data to assist with reproduction of our findings.