IIB-LPO: Latent Beleidsoptimalisatie via Iteratief Informatie Knelpunt
IIB-LPO: Latent Policy Optimization via Iterative Information Bottleneck
January 9, 2026
Auteurs: Huilin Deng, Hongchen Luo, Yue Zhu, Long Li, Zhuoyue Chen, Xinghao Zhao, Ming Li, Jihai Zhang, Mengchang Wang, Yang Cao, Yu Kang
cs.AI
Samenvatting
Recente vooruitgang in Reinforcement Learning met Verifieerbare Beloningen (RLVR) voor redeneren met Large Language Models (LLM) wordt belemmerd door een hardnekkige uitdaging: verkenningscollaps. De semantische homogeniteit van willekeurige rollouts zet modellen vaak vast in nauwe, overgeoptimaliseerde gedragspatronen. Hoewel bestaande methoden beleidsentropie benutten om exploratie aan te moedigen, kampen ze met inherente beperkingen. Globale entropieregularisatie is vatbaar voor 'reward hacking', wat tot betekenisloze breedsprakigheid kan leiden, terwijl lokale, token-selectieve updates worstelen met de sterke inductieve bias van voorgetrainde modellen. Om dit aan te pakken, stellen we Latent Policy Optimization via Iterative Information Bottleneck (IIB-LPO) voor, een nieuwe aanpak die exploratie verschuift van statistische perturbatie van tokenverdelingen naar topologische vertakking van redeneertrajecten. IIB-LPO activeert latente vertakkingen bij toestanden met hoge entropie om redeneerpaden te diversifiëren en gebruikt het Information Bottleneck-principe zowel als trajectfilter als een zelfbeloningsmechanisme, wat een beknopte en informatieve verzekert. Empirische resultaten op vier wiskundige redeneerbenchmarks tonen aan dat IIB-LPO state-of-the-art prestaties bereikt, en eerdere methoden overtreft met marges tot 5,3% in nauwkeurigheid en 7,4% in diversiteitsmetrieken.
English
Recent advances in Reinforcement Learning with Verifiable Rewards (RLVR) for Large Language Model (LLM) reasoning have been hindered by a persistent challenge: exploration collapse. The semantic homogeneity of random rollouts often traps models in narrow, over-optimized behaviors. While existing methods leverage policy entropy to encourage exploration, they face inherent limitations. Global entropy regularization is susceptible to reward hacking, which can induce meaningless verbosity, whereas local token-selective updates struggle with the strong inductive bias of pre-trained models. To address this, we propose Latent Policy Optimization via Iterative Information Bottleneck (IIB-LPO), a novel approach that shifts exploration from statistical perturbation of token distributions to topological branching of reasoning trajectories. IIB-LPO triggers latent branching at high-entropy states to diversify reasoning paths and employs the Information Bottleneck principle both as a trajectory filter and a self-reward mechanism, ensuring concise and informative exploration. Empirical results across four mathematical reasoning benchmarks demonstrate that IIB-LPO achieves state-of-the-art performance, surpassing prior methods by margins of up to 5.3% in accuracy and 7.4% in diversity metrics.