ReZero: Aprimorando a capacidade de busca de LLMs ao tentar mais uma vez

ReZero: Enhancing LLM search ability by trying one-more-time

April 15, 2025

Autores: Alan Dao, Thinh Le

cs.AI

Resumo

A Geração Aumentada por Recuperação (RAG, do inglês Retrieval-Augmented Generation) melhora o desempenho de Modelos de Linguagem de Grande Escala (LLMs, do inglês Large Language Models) em tarefas intensivas em conhecimento, mas depende fortemente da qualidade da consulta de pesquisa inicial. Os métodos atuais, que frequentemente utilizam Aprendizado por Reforço (RL, do inglês Reinforcement Learning), geralmente se concentram na formulação de consultas ou no raciocínio sobre os resultados, sem incentivar explicitamente a persistência após uma pesquisa malsucedida. Apresentamos o ReZero (Retry-Zero), uma nova estrutura de RL que recompensa diretamente o ato de tentar novamente uma consulta de pesquisa após uma tentativa inicial sem sucesso. Isso incentiva o LLM a explorar consultas alternativas em vez de parar prematuramente. O ReZero demonstra uma melhoria significativa, alcançando 46,88% de precisão em comparação com uma linha de base de 25%. Ao recompensar a persistência, o ReZero aumenta a robustez do LLM em cenários complexos de busca de informações, onde as consultas iniciais podem se mostrar insuficientes.

English

Retrieval-Augmented Generation (RAG) improves Large Language Model (LLM) performance on knowledge-intensive tasks but depends heavily on initial search query quality. Current methods, often using Reinforcement Learning (RL), typically focus on query formulation or reasoning over results, without explicitly encouraging persistence after a failed search. We introduce ReZero (Retry-Zero), a novel RL framework that directly rewards the act of retrying a search query following an initial unsuccessful attempt. This incentivizes the LLM to explore alternative queries rather than prematurely halting. ReZero demonstrates significant improvement, achieving 46.88% accuracy compared to a 25% baseline. By rewarding persistence, ReZero enhances LLM robustness in complex information-seeking scenarios where initial queries may prove insufficient.