GroUSE: Een benchmark om beoordelaars te evalueren in grounded question answering.

GroUSE: A Benchmark to Evaluate Evaluators in Grounded Question Answering

September 10, 2024

Auteurs: Sacha Muller, António Loison, Bilel Omrani, Gautier Viaud

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) is opgekomen als een gangbaar paradigma om Grote Taalmodellen (LLM's) te gebruiken naast privé- en actuele kennisbanken. In dit werk behandelen we de uitdagingen van het gebruik van LLM-als-een-Beoordelaar bij het evalueren van gefundeerde antwoorden gegenereerd door RAG-systemen. Om de kalibratie- en discriminatiecapaciteiten van beoordelingsmodellen te beoordelen, identificeren we 7 generatorfoutmodi en introduceren we GroUSE (Grounded QA Unitary Scoring of Evaluators), een meta-evaluatiebenchmark van 144 eenheidstests. Deze benchmark onthult dat bestaande geautomatiseerde RAG-evaluatiekaders vaak belangrijke foutmodi over het hoofd zien, zelfs bij het gebruik van GPT-4 als beoordelaar. Om de huidige vormgeving van geautomatiseerde RAG-evaluatiekaders te verbeteren, stellen we een nieuw proces voor en constateren we dat hoewel gesloten modellen goed presteren op GroUSE, state-of-the-art open-source beoordelaars niet generaliseren naar onze voorgestelde criteria, ondanks sterke correlatie met het oordeel van GPT-4. Onze bevindingen suggereren dat correlatie met GPT-4 een onvolledige proxy is voor de praktische prestaties van beoordelingsmodellen en aangevuld moet worden met evaluaties op eenheidstests voor nauwkeurige detectie van foutmodi. Verder tonen we aan dat het fine-tunen van Llama-3 op de redeneringssporen van GPT-4 aanzienlijk bijdraagt aan de evaluatiecapaciteiten, waarbij zowel de correlatie met de evaluaties van GPT-4 als de kalibratie op referentiesituaties worden verbeterd.

English

Retrieval-Augmented Generation (RAG) has emerged as a common paradigm to use Large Language Models (LLMs) alongside private and up-to-date knowledge bases. In this work, we address the challenges of using LLM-as-a-Judge when evaluating grounded answers generated by RAG systems. To assess the calibration and discrimination capabilities of judge models, we identify 7 generator failure modes and introduce GroUSE (Grounded QA Unitary Scoring of Evaluators), a meta-evaluation benchmark of 144 unit tests. This benchmark reveals that existing automated RAG evaluation frameworks often overlook important failure modes, even when using GPT-4 as a judge. To improve on the current design of automated RAG evaluation frameworks, we propose a novel pipeline and find that while closed models perform well on GroUSE, state-of-the-art open-source judges do not generalize to our proposed criteria, despite strong correlation with GPT-4's judgement. Our findings suggest that correlation with GPT-4 is an incomplete proxy for the practical performance of judge models and should be supplemented with evaluations on unit tests for precise failure mode detection. We further show that finetuning Llama-3 on GPT-4's reasoning traces significantly boosts its evaluation capabilities, improving upon both correlation with GPT-4's evaluations and calibration on reference situations.