F-GRPO: Otimização de Política Fatorizada Relativa a Grupo para Geração e Ranqueamento Unificados de Candidatos

Resumo

Pipelines tradicionais de recuperação otimizam a utilidade através de estágios de recuperação de candidatos e reordenação, onde a classificação opera sobre um conjunto predefinido de candidatos. Modelos de Linguagem de Grande Escala (LLMs) ampliam isso para um processo generativo: dado um conjunto de candidatos, um LLM pode gerar um subconjunto e ordená-lo em uma única passagem autorregressiva. No entanto, essa flexibilidade introduz um novo desafio de otimização: o modelo deve buscar um espaço de saída combinatório enquanto recebe feedback de utilidade somente após a lista ordenada completa ser gerada. Como esse feedback é definido sobre a sequência concluída, ele não consegue distinguir se um resultado ruim decorre da falha em gerar um subconjunto relevante ou da falha em ordenar esse subconjunto corretamente. Essa lacuna de atribuição de crédito torna a otimização fim a fim instável e ineficiente em termos de amostras. Sistemas existentes frequentemente lidam com isso separando a geração de candidatos da reordenação. No entanto, tal desacoplamento permanece desalinhado com a utilidade downstream, pois a reordenação é limitada pelo conjunto de candidatos que recebe. Para preencher essa lacuna, propomos uma estrutura unificada que realiza ambas dentro de uma única passagem autorregressiva e as otimiza fim a fim por meio da otimização de política relativa a grupos fatorada (F-GRPO). Nossa estrutura decompõe a política em geração de candidatos e reordenação, enquanto compartilha um único backbone LLM, e as treina conjuntamente com uma recompensa de cobertura invariante à ordem e uma recompensa de utilidade sensível à posição. Para lidar com o problema de atribuição de crédito específico de fase resultante, utilizamos vantagens relativas a grupos separadas para geração e reordenação dentro de um objetivo de nível de sequência em duas fases. Em benchmarks de recomendação sequencial e perguntas e respostas com múltiplos saltos, o F-GRPO melhora o desempenho dos principais resultados em relação ao GRPO e às bases de referência desacopladas, supera alternativas supervisionadas e permanece competitivo com fortes reordenadores zero-shot, sem nenhuma alteração arquitetônica no momento da inferência.

English

Traditional retrieval pipelines optimize utility through stages of candidate retrieval and reranking, where ranking operates over a predefined candidate set. Large Language Models (LLMs) broaden this into a generative process: given a candidate pool, an LLM can generate a subset and order it within a single autoregressive pass. However, this flexibility introduces a new optimization challenge: the model must search a combinatorial output space while receiving utility feedback only after the full ranked list is generated. Because this feedback is defined over the completed sequence, it cannot distinguish whether a poor result arises from failing to generate a relevant subset or from failing to rank that subset correctly. This credit assignment gap makes end-to-end optimization unstable and sample-inefficient. Existing systems often address this by separating candidate generation from ranking. However, such decoupling remains misaligned with downstream utility because ranking is limited by the candidate set it receives. To bridge this gap, we propose a unified framework that performs both within a single autoregressive rollout and optimizes them end-to-end via factorized group-relative policy optimization (F-GRPO). Our framework factorizes the policy into candidate generation and ranking while sharing a single LLM backbone, and jointly trains them with an order-invariant coverage reward and a position-aware utility reward. To address the resulting phase-specific credit assignment problem, we use separate group-relative advantages for generation and ranking within a two-phase sequence-level objective. Across sequential recommendation and multi-hop question answering benchmarks, F-GRPO improves top-ranked performance over GRPO and decoupled baselines, outperforms supervised alternatives, and remains competitive with strong zero-shot rerankers, with no architectural changes at inference time.