ReZero: 한 번 더 시도함으로써 LLM의 검색 능력 향상하기

ReZero: Enhancing LLM search ability by trying one-more-time

April 15, 2025

저자: Alan Dao, Thinh Le

cs.AI

초록

검색 강화 생성(Retrieval-Augmented Generation, RAG)은 지식 집약적 작업에서 대규모 언어 모델(Large Language Model, LLM)의 성능을 향상시키지만, 초기 검색 질의의 품질에 크게 의존합니다. 현재의 방법들은 주로 강화 학습(Reinforcement Learning, RL)을 사용하여 질의 구성이나 결과에 대한 추론에 초점을 맞추며, 실패한 검색 후의 지속성을 명시적으로 장려하지 않습니다. 우리는 ReZero(Retry-Zero)라는 새로운 RL 프레임워크를 소개합니다. 이 프레임워크는 초기 검색 시도가 실패한 후 검색 질의를 재시도하는 행위에 직접 보상을 제공함으로써, LLM이 조기에 중단하는 대신 대안 질의를 탐색하도록 유도합니다. ReZero는 25%의 기준선에 비해 46.88%의 정확도를 달성하며 상당한 개선을 보여줍니다. 지속성을 보상함으로써, ReZero는 초기 질의가 불충분할 수 있는 복잡한 정보 탐색 시나리오에서 LLM의 견고성을 강화합니다.

English

Retrieval-Augmented Generation (RAG) improves Large Language Model (LLM) performance on knowledge-intensive tasks but depends heavily on initial search query quality. Current methods, often using Reinforcement Learning (RL), typically focus on query formulation or reasoning over results, without explicitly encouraging persistence after a failed search. We introduce ReZero (Retry-Zero), a novel RL framework that directly rewards the act of retrying a search query following an initial unsuccessful attempt. This incentivizes the LLM to explore alternative queries rather than prematurely halting. ReZero demonstrates significant improvement, achieving 46.88% accuracy compared to a 25% baseline. By rewarding persistence, ReZero enhances LLM robustness in complex information-seeking scenarios where initial queries may prove insufficient.