ReZero: Verbesserung der Suchfähigkeit von LLMs durch den Versuch, es noch einmal zu probieren

ReZero: Enhancing LLM search ability by trying one-more-time

April 15, 2025

Autoren: Alan Dao, Thinh Le

cs.AI

Zusammenfassung

Retrieval-Augmented Generation (RAG) verbessert die Leistung von Large Language Models (LLMs) bei wissensintensiven Aufgaben, hängt jedoch stark von der Qualität der anfänglichen Suchanfrage ab. Aktuelle Methoden, die oft Reinforcement Learning (RL) verwenden, konzentrieren sich typischerweise auf die Formulierung von Anfragen oder das Schlussfolgern über Ergebnisse, ohne explizit das Beharren nach einer gescheiterten Suche zu fördern. Wir stellen ReZero (Retry-Zero) vor, ein neuartiges RL-Framework, das direkt den Akt des Wiederholens einer Suchanfrage nach einem anfänglich erfolglosen Versuch belohnt. Dies motiviert das LLM, alternative Anfragen zu erkunden, anstatt vorzeitig abzubrechen. ReZero zeigt eine signifikante Verbesserung und erreicht eine Genauigkeit von 46,88 % im Vergleich zu einem Basiswert von 25 %. Durch die Belohnung von Beharrlichkeit erhöht ReZero die Robustheit von LLMs in komplexen Informationssuchszenarien, in denen anfängliche Anfragen möglicherweise unzureichend sind.

English

Retrieval-Augmented Generation (RAG) improves Large Language Model (LLM) performance on knowledge-intensive tasks but depends heavily on initial search query quality. Current methods, often using Reinforcement Learning (RL), typically focus on query formulation or reasoning over results, without explicitly encouraging persistence after a failed search. We introduce ReZero (Retry-Zero), a novel RL framework that directly rewards the act of retrying a search query following an initial unsuccessful attempt. This incentivizes the LLM to explore alternative queries rather than prematurely halting. ReZero demonstrates significant improvement, achieving 46.88% accuracy compared to a 25% baseline. By rewarding persistence, ReZero enhances LLM robustness in complex information-seeking scenarios where initial queries may prove insufficient.