AutoRAG-HP: Automatische Online Hyperparameterafstemming voor Retrieval-Augmented Generation

AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation

June 27, 2024

Auteurs: Jia Fu, Xiaoting Qin, Fangkai Yang, Lu Wang, Jue Zhang, Qingwei Lin, Yubo Chen, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Samenvatting

Recente ontwikkelingen in Large Language Models hebben de ML/AI-ontwikkeling getransformeerd, wat een herziening van de AutoML-principes voor Retrieval-Augmented Generation (RAG)-systemen noodzakelijk maakt. Om de uitdagingen van hyperparameteroptimalisatie en online aanpassing in RAG aan te pakken, stellen we het AutoRAG-HP-framework voor, dat het afstemmen van hyperparameters formuleert als een online multi-armed bandit (MAB)-probleem en een nieuwe twee-level Hiërarchische MAB (Hier-MAB)-methode introduceert voor efficiënte verkenning van grote zoekruimten. We voeren uitgebreide experimenten uit voor het afstemmen van hyperparameters, zoals het aantal opgehaalde documenten (top-k), de promptcompressieverhouding en embeddingmethoden, met behulp van de ALCE-ASQA en Natural Questions-datasets. Onze evaluatie van de gezamenlijke optimalisatie van alle drie de hyperparameters toont aan dat MAB-gebaseerde online-leermethoden een Recall@5 van ongeveer 0,8 kunnen bereiken voor scenario's met duidelijke gradiënten in de zoekruimte, waarbij slechts ongeveer 20% van de LLM API-aanroepen nodig is die de Grid Search-benadering vereist. Bovendien presteert de voorgestelde Hier-MAB-benadering beter dan andere baseline-methoden in meer uitdagende optimalisatiescenario's. De code zal beschikbaar worden gesteld op https://aka.ms/autorag.

English

Recent advancements in Large Language Models have transformed ML/AI development, necessitating a reevaluation of AutoML principles for the Retrieval-Augmented Generation (RAG) systems. To address the challenges of hyper-parameter optimization and online adaptation in RAG, we propose the AutoRAG-HP framework, which formulates the hyper-parameter tuning as an online multi-armed bandit (MAB) problem and introduces a novel two-level Hierarchical MAB (Hier-MAB) method for efficient exploration of large search spaces. We conduct extensive experiments on tuning hyper-parameters, such as top-k retrieved documents, prompt compression ratio, and embedding methods, using the ALCE-ASQA and Natural Questions datasets. Our evaluation from jointly optimization all three hyper-parameters demonstrate that MAB-based online learning methods can achieve Recall@5 approx 0.8 for scenarios with prominent gradients in search space, using only sim20% of the LLM API calls required by the Grid Search approach. Additionally, the proposed Hier-MAB approach outperforms other baselines in more challenging optimization scenarios. The code will be made available at https://aka.ms/autorag.