AutoRAG-HP: Автоматическая онлайн настройка гиперпараметров для увеличения производительности генерации с использованием поиска.

AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation

June 27, 2024

Авторы: Jia Fu, Xiaoting Qin, Fangkai Yang, Lu Wang, Jue Zhang, Qingwei Lin, Yubo Chen, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Аннотация

Недавние достижения в области больших языковых моделей преобразовали разработку МО/ИИ, что требует переоценки принципов автоматизированного машинного обучения для систем с извлечением и генерацией (RAG). Для решения проблем оптимизации гиперпараметров и онлайн адаптации в RAG мы предлагаем фреймворк AutoRAG-HP, который формулирует настройку гиперпараметров как проблему онлайн многоруких бандитов (MAB) и вводит новый двухуровневый иерархический метод исследования (Hier-MAB) для эффективного исследования больших пространств поиска. Мы проводим обширные эксперименты по настройке гиперпараметров, таких как количество извлеченных документов top-k, коэффициент сжатия запроса и методы встраивания, используя наборы данных ALCE-ASQA и Natural Questions. Наша оценка совместной оптимизации всех трех гиперпараметров показывает, что методы онлайн обучения на основе MAB могут достигать Recall@5 прибл. 0.8 для сценариев с выраженными градиентами в пространстве поиска, используя всего 20% вызовов API LLM, необходимых для подхода Grid Search. Кроме того, предложенный подход Hier-MAB превосходит другие базовые в более сложных сценариях оптимизации. Код будет доступен по ссылке https://aka.ms/autorag.

English

Recent advancements in Large Language Models have transformed ML/AI development, necessitating a reevaluation of AutoML principles for the Retrieval-Augmented Generation (RAG) systems. To address the challenges of hyper-parameter optimization and online adaptation in RAG, we propose the AutoRAG-HP framework, which formulates the hyper-parameter tuning as an online multi-armed bandit (MAB) problem and introduces a novel two-level Hierarchical MAB (Hier-MAB) method for efficient exploration of large search spaces. We conduct extensive experiments on tuning hyper-parameters, such as top-k retrieved documents, prompt compression ratio, and embedding methods, using the ALCE-ASQA and Natural Questions datasets. Our evaluation from jointly optimization all three hyper-parameters demonstrate that MAB-based online learning methods can achieve Recall@5 approx 0.8 for scenarios with prominent gradients in search space, using only sim20% of the LLM API calls required by the Grid Search approach. Additionally, the proposed Hier-MAB approach outperforms other baselines in more challenging optimization scenarios. The code will be made available at https://aka.ms/autorag.