AutoRAG-HP : Réglage Automatique en Ligne des Hyperparamètres pour la Génération Augmentée par Récupération

AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation

June 27, 2024

Auteurs: Jia Fu, Xiaoting Qin, Fangkai Yang, Lu Wang, Jue Zhang, Qingwei Lin, Yubo Chen, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Résumé

Les récentes avancées dans les modèles de langage de grande taille (LLM) ont transformé le développement du ML/AI, nécessitant une réévaluation des principes de l'AutoML pour les systèmes de génération augmentée par récupération (RAG). Pour relever les défis de l'optimisation des hyperparamètres et de l'adaptation en ligne dans les systèmes RAG, nous proposons le framework AutoRAG-HP, qui formule le réglage des hyperparamètres comme un problème de bandit multi-bras (MAB) en ligne et introduit une nouvelle méthode hiérarchique à deux niveaux (Hier-MAB) pour une exploration efficace des grands espaces de recherche. Nous menons des expériences approfondies sur le réglage des hyperparamètres, tels que le nombre de documents récupérés (top-k), le taux de compression des prompts et les méthodes d'embedding, en utilisant les jeux de données ALCE-ASQA et Natural Questions. Notre évaluation basée sur l'optimisation conjointe de ces trois hyperparamètres démontre que les méthodes d'apprentissage en ligne basées sur MAB peuvent atteindre un Recall@5 d'environ 0,8 pour les scénarios présentant des gradients marqués dans l'espace de recherche, en utilisant seulement environ 20 % des appels d'API LLM requis par l'approche de recherche par grille. De plus, la méthode Hier-MAB proposée surpasse les autres approches de référence dans des scénarios d'optimisation plus complexes. Le code sera disponible à l'adresse https://aka.ms/autorag.

English

Recent advancements in Large Language Models have transformed ML/AI development, necessitating a reevaluation of AutoML principles for the Retrieval-Augmented Generation (RAG) systems. To address the challenges of hyper-parameter optimization and online adaptation in RAG, we propose the AutoRAG-HP framework, which formulates the hyper-parameter tuning as an online multi-armed bandit (MAB) problem and introduces a novel two-level Hierarchical MAB (Hier-MAB) method for efficient exploration of large search spaces. We conduct extensive experiments on tuning hyper-parameters, such as top-k retrieved documents, prompt compression ratio, and embedding methods, using the ALCE-ASQA and Natural Questions datasets. Our evaluation from jointly optimization all three hyper-parameters demonstrate that MAB-based online learning methods can achieve Recall@5 approx 0.8 for scenarios with prominent gradients in search space, using only sim20% of the LLM API calls required by the Grid Search approach. Additionally, the proposed Hier-MAB approach outperforms other baselines in more challenging optimization scenarios. The code will be made available at https://aka.ms/autorag.