AutoRAG-HP: Automatische Online-Hyperparameter-Abstimmung für die Generierung mit erweitertem Abruf

AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation

June 27, 2024

Autoren: Jia Fu, Xiaoting Qin, Fangkai Yang, Lu Wang, Jue Zhang, Qingwei Lin, Yubo Chen, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei Large Language Models haben die Entwicklung von ML/AI grundlegend verändert und erfordern eine Neubewertung der AutoML-Prinzipien für Retrieval-Augmented Generation (RAG)-Systeme. Um den Herausforderungen der Hyperparameter-Optimierung und der Online-Anpassung in RAG zu begegnen, schlagen wir das AutoRAG-HP-Framework vor, das die Hyperparameter-Abstimmung als ein Online-Multi-Armed Bandit (MAB)-Problem formuliert und eine neuartige zweistufige Hierarchical MAB (Hier-MAB)-Methode zur effizienten Exploration großer Suchräume einführt. Wir führen umfangreiche Experimente zur Abstimmung von Hyperparametern wie den top-k abgerufenen Dokumenten, dem Prompt-Kompressionsverhältnis und den Einbettungsmethoden unter Verwendung der ALCE-ASQA- und Natural Questions-Datensätze durch. Unsere Auswertung der gemeinsamen Optimierung aller drei Hyperparameter zeigt, dass MAB-basierte Online-Lernmethoden Recall@5 von ca. 0,8 für Szenarien mit deutlichen Gradienten im Suchraum erreichen können, wobei nur etwa 20 % der LLM-API-Aufrufe benötigt werden, die für den Grid Search-Ansatz erforderlich sind. Darüber hinaus übertrifft der vorgeschlagene Hier-MAB-Ansatz andere Baselines in anspruchsvolleren Optimierungsszenarien. Der Code wird unter https://aka.ms/autorag verfügbar gemacht.

English

Recent advancements in Large Language Models have transformed ML/AI development, necessitating a reevaluation of AutoML principles for the Retrieval-Augmented Generation (RAG) systems. To address the challenges of hyper-parameter optimization and online adaptation in RAG, we propose the AutoRAG-HP framework, which formulates the hyper-parameter tuning as an online multi-armed bandit (MAB) problem and introduces a novel two-level Hierarchical MAB (Hier-MAB) method for efficient exploration of large search spaces. We conduct extensive experiments on tuning hyper-parameters, such as top-k retrieved documents, prompt compression ratio, and embedding methods, using the ALCE-ASQA and Natural Questions datasets. Our evaluation from jointly optimization all three hyper-parameters demonstrate that MAB-based online learning methods can achieve Recall@5 approx 0.8 for scenarios with prominent gradients in search space, using only sim20% of the LLM API calls required by the Grid Search approach. Additionally, the proposed Hier-MAB approach outperforms other baselines in more challenging optimization scenarios. The code will be made available at https://aka.ms/autorag.