OmniEval: Un banco de pruebas de evaluación RAG omnidireccional y automático en el dominio financiero

OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain

December 17, 2024

Autores: Shuting Wang, Jiejun Tan, Zhicheng Dou, Ji-Rong Wen

cs.AI

Resumen

Como una aplicación típica y práctica de los Modelos de Lenguaje Grande (LLMs), las técnicas de Generación con Recuperación Aumentada (RAG) han ganado una amplia atención, especialmente en dominios verticales donde los LLMs pueden carecer de conocimiento específico del dominio. En este artículo, presentamos un benchmark omnidireccional y automático de RAG, llamado OmniEval, en el ámbito financiero. Nuestro benchmark se caracteriza por su marco de evaluación multidimensional, que incluye (1) un sistema de evaluación de escenarios de RAG basado en matrices que categoriza las consultas en cinco clases de tareas y 16 temas financieros, lo que conduce a una evaluación estructurada de diversos escenarios de consulta; (2) un enfoque de generación de datos de evaluación multidimensional, que combina la generación automática basada en GPT-4 y la anotación humana, logrando una tasa de aceptación del 87.47\% en evaluaciones humanas sobre instancias generadas; (3) un sistema de evaluación de múltiples etapas que evalúa tanto el rendimiento de recuperación como de generación, lo que resulta en una evaluación integral del pipeline de RAG; y (4) métricas de evaluación robustas derivadas de métricas basadas en reglas y en LLM, mejorando la fiabilidad de las evaluaciones a través de anotaciones manuales y ajuste supervisado de un evaluador LLM. Nuestros experimentos demuestran la exhaustividad de OmniEval, que incluye extensos conjuntos de datos de prueba y destaca las variaciones de rendimiento de los sistemas de RAG en diversos temas y tareas, revelando oportunidades significativas para que los modelos de RAG mejoren sus capacidades en dominios verticales. Ponemos el código fuente de nuestro benchmark en código abierto en https://github.com/RUC-NLPIR/OmniEval.

English

As a typical and practical application of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) techniques have gained extensive attention, particularly in vertical domains where LLMs may lack domain-specific knowledge. In this paper, we introduce an omnidirectional and automatic RAG benchmark, OmniEval, in the financial domain. Our benchmark is characterized by its multi-dimensional evaluation framework, including (1) a matrix-based RAG scenario evaluation system that categorizes queries into five task classes and 16 financial topics, leading to a structured assessment of diverse query scenarios; (2) a multi-dimensional evaluation data generation approach, which combines GPT-4-based automatic generation and human annotation, achieving an 87.47\% acceptance ratio in human evaluations on generated instances; (3) a multi-stage evaluation system that evaluates both retrieval and generation performance, result in a comprehensive evaluation on the RAG pipeline; and (4) robust evaluation metrics derived from rule-based and LLM-based ones, enhancing the reliability of assessments through manual annotations and supervised fine-tuning of an LLM evaluator. Our experiments demonstrate the comprehensiveness of OmniEval, which includes extensive test datasets and highlights the performance variations of RAG systems across diverse topics and tasks, revealing significant opportunities for RAG models to improve their capabilities in vertical domains. We open source the code of our benchmark in https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.