OmniEval: Um Benchmark de Avaliação RAG Omnidirecional e Automático no Domínio Financeiro

OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain

December 17, 2024

Autores: Shuting Wang, Jiejun Tan, Zhicheng Dou, Ji-Rong Wen

cs.AI

Resumo

Como uma aplicação típica e prática de Modelos de Linguagem de Grande Escala (LLMs), as técnicas de Geração com Recuperação (Retrieval-Augmented Generation - RAG) têm recebido ampla atenção, especialmente em domínios verticais nos quais os LLMs podem carecer de conhecimento específico do domínio. Neste artigo, apresentamos um benchmark RAG omnidirecional e automático, chamado OmniEval, no domínio financeiro. Nosso benchmark é caracterizado por seu framework de avaliação multidimensional, incluindo (1) um sistema de avaliação de cenários RAG baseado em matrizes que categoriza consultas em cinco classes de tarefas e 16 tópicos financeiros, resultando em uma avaliação estruturada de diversos cenários de consulta; (2) uma abordagem de geração de dados de avaliação multidimensional, que combina geração automática baseada em GPT-4 e anotação humana, alcançando uma taxa de aceitação de 87,47% em avaliações humanas de instâncias geradas; (3) um sistema de avaliação em múltiplos estágios que avalia tanto o desempenho de recuperação quanto de geração, resultando em uma avaliação abrangente do pipeline RAG; e (4) métricas de avaliação robustas derivadas de métricas baseadas em regras e em LLMs, aumentando a confiabilidade das avaliações por meio de anotações manuais e ajuste supervisionado de um avaliador LLM. Nossos experimentos demonstram a abrangência do OmniEval, que inclui extensos conjuntos de dados de teste e destaca as variações de desempenho dos sistemas RAG em diversos tópicos e tarefas, revelando oportunidades significativas para os modelos RAG melhorarem suas capacidades em domínios verticais. Disponibilizamos o código-fonte de nosso benchmark em https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.

English

As a typical and practical application of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) techniques have gained extensive attention, particularly in vertical domains where LLMs may lack domain-specific knowledge. In this paper, we introduce an omnidirectional and automatic RAG benchmark, OmniEval, in the financial domain. Our benchmark is characterized by its multi-dimensional evaluation framework, including (1) a matrix-based RAG scenario evaluation system that categorizes queries into five task classes and 16 financial topics, leading to a structured assessment of diverse query scenarios; (2) a multi-dimensional evaluation data generation approach, which combines GPT-4-based automatic generation and human annotation, achieving an 87.47\% acceptance ratio in human evaluations on generated instances; (3) a multi-stage evaluation system that evaluates both retrieval and generation performance, result in a comprehensive evaluation on the RAG pipeline; and (4) robust evaluation metrics derived from rule-based and LLM-based ones, enhancing the reliability of assessments through manual annotations and supervised fine-tuning of an LLM evaluator. Our experiments demonstrate the comprehensiveness of OmniEval, which includes extensive test datasets and highlights the performance variations of RAG systems across diverse topics and tasks, revealing significant opportunities for RAG models to improve their capabilities in vertical domains. We open source the code of our benchmark in https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.