AutoRAG-HP: Ottimizzazione Automatica Online degli Iperparametri per la Generazione Aumentata dal Recupero

AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation

June 27, 2024

Autori: Jia Fu, Xiaoting Qin, Fangkai Yang, Lu Wang, Jue Zhang, Qingwei Lin, Yubo Chen, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici di Grande Dimensione hanno trasformato lo sviluppo del ML/AI, rendendo necessaria una rivalutazione dei principi dell'AutoML per i sistemi di Generazione Aumentata con Recupero (RAG). Per affrontare le sfide dell'ottimizzazione degli iperparametri e dell'adattamento online nei sistemi RAG, proponiamo il framework AutoRAG-HP, che formula la regolazione degli iperparametri come un problema di multi-armed bandit (MAB) online e introduce un nuovo metodo a due livelli di MAB Gerarchico (Hier-MAB) per un'esplorazione efficiente di ampi spazi di ricerca. Abbiamo condotto esperimenti estesi sulla regolazione di iperparametri, come il numero di documenti recuperati top-k, il rapporto di compressione dei prompt e i metodi di embedding, utilizzando i dataset ALCE-ASQA e Natural Questions. La nostra valutazione, basata sull'ottimizzazione congiunta di tutti e tre gli iperparametri, dimostra che i metodi di apprendimento online basati su MAB possono raggiungere un Recall@5 di circa 0,8 per scenari con gradienti prominenti nello spazio di ricerca, utilizzando solo circa il 20% delle chiamate API LLM richieste dall'approccio Grid Search. Inoltre, il metodo Hier-MAB proposto supera altri baseline in scenari di ottimizzazione più impegnativi. Il codice sarà reso disponibile all'indirizzo https://aka.ms/autorag.

English

Recent advancements in Large Language Models have transformed ML/AI development, necessitating a reevaluation of AutoML principles for the Retrieval-Augmented Generation (RAG) systems. To address the challenges of hyper-parameter optimization and online adaptation in RAG, we propose the AutoRAG-HP framework, which formulates the hyper-parameter tuning as an online multi-armed bandit (MAB) problem and introduces a novel two-level Hierarchical MAB (Hier-MAB) method for efficient exploration of large search spaces. We conduct extensive experiments on tuning hyper-parameters, such as top-k retrieved documents, prompt compression ratio, and embedding methods, using the ALCE-ASQA and Natural Questions datasets. Our evaluation from jointly optimization all three hyper-parameters demonstrate that MAB-based online learning methods can achieve Recall@5 approx 0.8 for scenarios with prominent gradients in search space, using only sim20% of the LLM API calls required by the Grid Search approach. Additionally, the proposed Hier-MAB approach outperforms other baselines in more challenging optimization scenarios. The code will be made available at https://aka.ms/autorag.