Legal RAG Bench: um benchmark de ponta a ponta para RAG jurídico
Legal RAG Bench: an end-to-end benchmark for legal RAG
March 2, 2026
Autores: Abdur-Rahman Butler, Umar Butler
cs.AI
Resumo
Apresentamos o Legal RAG Bench, uma referência e metodologia de avaliação para aferir o desempenho ponta a ponta de sistemas jurídicos de RAG. Como referência, o Legal RAG Bench é composto por 4.876 excertos do Victorian Criminal Charge Book, acompanhados de 100 questões complexas e elaboradas manualmente que exigem conhecimento especializado em direito penal e processo penal. São fornecidas tanto respostas em formato longo como os excertos de suporte. Como metodologia de avaliação, o Legal RAG Bench aproveita um design fatorial completo e uma nova estrutura de decomposição hierárquica de erros, permitindo comparações diretas entre as contribuições dos modelos de recuperação e de raciocínio no RAG. Avaliamos três modelos de incorporação de última geração (Isaacus' Kanon 2 Embedder, Google's Gemini Embedding 001 e OpenAI's Text Embedding 3 Large) e dois LLMs de fronteira (Gemini 3.1 Pro e GPT-5.2), concluindo que a recuperação de informação é o principal impulsionador do desempenho do RAG jurídico, com os LLMs exercendo um efeito mais moderado na correção e na fundamentação. O Kanon 2 Embedder, em particular, teve o maior impacto positivo no desempenho, melhorando a correção média em 17,5 pontos, a fundamentação em 4,5 pontos e a precisão da recuperação em 34 pontos. Observamos que muitos erros atribuídos a alucinações em sistemas jurídicos de RAG são, na verdade, desencadeados por falhas na recuperação, concluindo-se que a recuperação define o limite máximo para o desempenho de muitos sistemas modernos de RAG jurídico. Documentamos o porquê e o modo como construímos o Legal RAG Bench, juntamente com os resultados das nossas avaliações. Disponibilizamos também abertamente o nosso código e dados para auxiliar na reprodução das nossas descobertas.
English
We introduce Legal RAG Bench, a benchmark and evaluation methodology for assessing the end-to-end performance of legal RAG systems. As a benchmark, Legal RAG Bench consists of 4,876 passages from the Victorian Criminal Charge Book alongside 100 complex, hand-crafted questions demanding expert knowledge of criminal law and procedure. Both long-form answers and supporting passages are provided. As an evaluation methodology, Legal RAG Bench leverages a full factorial design and novel hierarchical error decomposition framework, enabling apples-to-apples comparisons of the contributions of retrieval and reasoning models in RAG. We evaluate three state-of-the-art embedding models (Isaacus' Kanon 2 Embedder, Google's Gemini Embedding 001, and OpenAI's Text Embedding 3 Large) and two frontier LLMs (Gemini 3.1 Pro and GPT-5.2), finding that information retrieval is the primary driver of legal RAG performance, with LLMs exerting a more moderate effect on correctness and groundedness. Kanon 2 Embedder, in particular, had the largest positive impact on performance, improving average correctness by 17.5 points, groundedness by 4.5 points, and retrieval accuracy by 34 points. We observe that many errors attributed to hallucinations in legal RAG systems are in fact triggered by retrieval failures, concluding that retrieval sets the ceiling for the performance of many modern legal RAG systems. We document why and how we built Legal RAG Bench alongside the results of our evaluations. We also openly release our code and data to assist with reproduction of our findings.