AutoRAG-HP: 検索拡張生成のための自動オンラインハイパーパラメータチューニング

要旨

大規模言語モデルの最近の進展は、ML/AI開発を変革し、Retrieval-Augmented Generation（RAG）システムのためのAutoML原則の再評価を必要としています。RAGにおけるハイパーパラメータ最適化とオンライン適応の課題に対処するため、我々はAutoRAG-HPフレームワークを提案します。このフレームワークは、ハイパーパラメータチューニングをオンライン多腕バンディット（MAB）問題として定式化し、大規模な探索空間を効率的に探索するための新しい二段階階層型MAB（Hier-MAB）手法を導入します。ALCE-ASQAおよびNatural Questionsデータセットを使用して、トップk検索ドキュメント、プロンプト圧縮率、埋め込み手法などのハイパーパラメータをチューニングする広範な実験を行いました。3つのハイパーパラメータを同時に最適化した評価結果から、探索空間に顕著な勾配があるシナリオでは、MABベースのオンライン学習手法が、グリッドサーチアプローチに必要なLLM API呼び出しのわずか約20%を使用して、Recall@5を約0.8達成できることが示されました。さらに、提案されたHier-MABアプローチは、より困難な最適化シナリオにおいて他のベースラインを上回りました。コードはhttps://aka.ms/autoragで公開されます。

English

Recent advancements in Large Language Models have transformed ML/AI development, necessitating a reevaluation of AutoML principles for the Retrieval-Augmented Generation (RAG) systems. To address the challenges of hyper-parameter optimization and online adaptation in RAG, we propose the AutoRAG-HP framework, which formulates the hyper-parameter tuning as an online multi-armed bandit (MAB) problem and introduces a novel two-level Hierarchical MAB (Hier-MAB) method for efficient exploration of large search spaces. We conduct extensive experiments on tuning hyper-parameters, such as top-k retrieved documents, prompt compression ratio, and embedding methods, using the ALCE-ASQA and Natural Questions datasets. Our evaluation from jointly optimization all three hyper-parameters demonstrate that MAB-based online learning methods can achieve Recall@5 approx 0.8 for scenarios with prominent gradients in search space, using only sim20% of the LLM API calls required by the Grid Search approach. Additionally, the proposed Hier-MAB approach outperforms other baselines in more challenging optimization scenarios. The code will be made available at https://aka.ms/autorag.

AutoRAG-HP: 検索拡張生成のための自動オンラインハイパーパラメータチューニング

AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation

要旨

Summary

Support

Support