ReZero: Verbetering van zoekvaardigheid van LLM's door het nog een keer te proberen

ReZero: Enhancing LLM search ability by trying one-more-time

April 15, 2025

Auteurs: Alan Dao, Thinh Le

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) verbetert de prestaties van Large Language Models (LLM) bij kennisintensieve taken, maar is sterk afhankelijk van de kwaliteit van de initiële zoekopdracht. Huidige methoden, die vaak Reinforcement Learning (RL) gebruiken, richten zich doorgaans op het formuleren van zoekopdrachten of het redeneren over resultaten, zonder expliciet doorzettingsvermogen na een mislukte zoekpoging aan te moedigen. Wij introduceren ReZero (Retry-Zero), een nieuw RL-framework dat het opnieuw proberen van een zoekopdracht na een aanvankelijk mislukte poging direct beloont. Dit stimuleert de LLM om alternatieve zoekopdrachten te verkennen in plaats van voortijdig te stoppen. ReZero toont een aanzienlijke verbetering, met een nauwkeurigheid van 46,88% vergeleken met een baseline van 25%. Door doorzettingsvermogen te belonen, verhoogt ReZero de robuustheid van LLM in complexe informatiezoek-scenario's waarin initiële zoekopdrachten mogelijk onvoldoende blijken.

English

Retrieval-Augmented Generation (RAG) improves Large Language Model (LLM) performance on knowledge-intensive tasks but depends heavily on initial search query quality. Current methods, often using Reinforcement Learning (RL), typically focus on query formulation or reasoning over results, without explicitly encouraging persistence after a failed search. We introduce ReZero (Retry-Zero), a novel RL framework that directly rewards the act of retrying a search query following an initial unsuccessful attempt. This incentivizes the LLM to explore alternative queries rather than prematurely halting. ReZero demonstrates significant improvement, achieving 46.88% accuracy compared to a 25% baseline. By rewarding persistence, ReZero enhances LLM robustness in complex information-seeking scenarios where initial queries may prove insufficient.