Investeer Zoekinspanning Waar Het Loont: Waarde-gestuurde Gestructureerde Steekproefname en Optimalisatie voor Generatieve Aanbevelingen
Spend Search Where It Pays: Value-Guided Structured Sampling and Optimization for Generative Recommendation
February 11, 2026
Auteurs: Jie Jiang, Yangru Huang, Zeyu Wang, Changping Wang, Yuling Xiong, Jun Zhang, Huan Yu
cs.AI
Samenvatting
Generatieve aanbeveling via autoregressieve modellen heeft retrieval en ranking verenigd in een enkel conditioneel generatieraamwerk. Het finetunen van deze modellen met Reinforcement Learning (RL) lijdt echter vaak onder een fundamentele mismatch tussen waarschijnlijkheid en beloning. Conventionele, op waarschijnlijkheid gedomineerde decodering (zoals beam search) vertoont een kortzichtige bias naar lokaal waarschijnlijke prefixen, wat twee kritieke problemen veroorzaakt: (1) onvoldoende exploratie, waarbij items met een hoge beloning in takken met een lage waarschijnlijkheid voortijdig worden weggepruned en zelden worden bemonsterd, en (2) advantage-compressie, waarbij trajecten die waarschijnlijke prefixen delen sterk gecorreleerde beloningen ontvangen met een lage variantie binnen de groep, wat een zwak comparatief signaal voor RL oplevert. Om deze uitdagingen aan te pakken, stellen we V-STAR voor, een Value-guided Sampling and Tree-structured Advantage Reinforcement-framework. V-STAR vormt een zelf-evoluerende lus via twee synergetische componenten. Ten eerste wordt een Value-Guided Efficient Decoding (VED) ontwikkeld om beslissende knopen te identificeren en veelbelovende prefixen selectief te verdiepen. Dit verbetert de exploratie-efficiëntie zonder exhaustieve boomzoektocht. Ten tweede stellen we Sibling-GRPO voor, dat de geïnduceerde boomtopologie benut om sibling-relative advantages te berekenen en de leer-signalen concentreert op beslissende vertakkingsbeslissingen. Uitgebreide experimenten op zowel offline als online datasets tonen aan dat V-STAR state-of-the-art baselines overtreft, met superieure nauwkeurigheid en diversiteit van de kandidaat-set onder strikte latentiebeperkingen.
English
Generative recommendation via autoregressive models has unified retrieval and ranking into a single conditional generation framework. However, fine-tuning these models with Reinforcement Learning (RL) often suffers from a fundamental probability-reward mismatch. Conventional likelihood-dominated decoding (e.g., beam search) exhibits a myopic bias toward locally probable prefixes, which causes two critical failures: (1) insufficient exploration, where high-reward items in low-probability branches are prematurely pruned and rarely sampled, and (2) advantage compression, where trajectories sharing high-probability prefixes receive highly correlated rewards with low within-group variance, yielding a weak comparative signal for RL. To address these challenges, we propose V-STAR, a Value-guided Sampling and Tree-structured Advantage Reinforcement framework. V-STAR forms a self-evolving loop via two synergistic components. First, a Value-Guided Efficient Decoding (VED) is developed to identify decisive nodes and selectively deepen high-potential prefixes. This improves exploration efficiency without exhaustive tree search. Second, we propose Sibling-GRPO, which exploits the induced tree topology to compute sibling-relative advantages and concentrates learning signals on decisive branching decisions. Extensive experiments on both offline and online datasets demonstrate that V-STAR outperforms state-of-the-art baselines, delivering superior accuracy and candidate-set diversity under strict latency constraints.