IIB-LPO: Otimização de Políticas Latentes via Gargalo de Informação Iterativo
IIB-LPO: Latent Policy Optimization via Iterative Information Bottleneck
January 9, 2026
Autores: Huilin Deng, Hongchen Luo, Yue Zhu, Long Li, Zhuoyue Chen, Xinghao Zhao, Ming Li, Jihai Zhang, Mengchang Wang, Yang Cao, Yu Kang
cs.AI
Resumo
Os recentes avanços no Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para o raciocínio de Modelos de Linguagem de Grande Porte (LLMs) têm sido dificultados por um desafio persistente: o colapso da exploração. A homogeneidade semântica das simulações estocásticas frequentemente prende os modelos em comportamentos estreitos e superotimizados. Embora os métodos existentes utilizem a entropia da política para incentivar a exploração, eles enfrentam limitações inerentes. A regularização da entropia global é suscetível à deturpação de recompensas, o que pode induzir verbosidade sem sentido, enquanto as atualizações locais seletivas por token lutam com o forte viés indutivo dos modelos pré-treinados. Para resolver isso, propomos a Otimização de Política Latente via Gargalo de Informação Iterativo (IIB-LPO), uma nova abordagem que desloca a exploração da perturbação estatística das distribuições de tokens para o ramificação topológica de trajetórias de raciocínio. O IIB-LPO aciona a ramificação latente em estados de alta entropia para diversificar os caminhos de raciocínio e emprega o princípio do Gargalo de Informação tanto como um filtro de trajetória quanto como um mecanismo de autorrecompensa, garantindo uma exploração concisa e informativa. Resultados empíricos em quatro benchmarks de raciocínio matemático demonstram que o IIB-LPO alcança desempenho de ponta, superando métodos anteriores por margens de até 5,3% em precisão e 7,4% em métricas de diversidade.
English
Recent advances in Reinforcement Learning with Verifiable Rewards (RLVR) for Large Language Model (LLM) reasoning have been hindered by a persistent challenge: exploration collapse. The semantic homogeneity of random rollouts often traps models in narrow, over-optimized behaviors. While existing methods leverage policy entropy to encourage exploration, they face inherent limitations. Global entropy regularization is susceptible to reward hacking, which can induce meaningless verbosity, whereas local token-selective updates struggle with the strong inductive bias of pre-trained models. To address this, we propose Latent Policy Optimization via Iterative Information Bottleneck (IIB-LPO), a novel approach that shifts exploration from statistical perturbation of token distributions to topological branching of reasoning trajectories. IIB-LPO triggers latent branching at high-entropy states to diversify reasoning paths and employs the Information Bottleneck principle both as a trajectory filter and a self-reward mechanism, ensuring concise and informative exploration. Empirical results across four mathematical reasoning benchmarks demonstrate that IIB-LPO achieves state-of-the-art performance, surpassing prior methods by margins of up to 5.3% in accuracy and 7.4% in diversity metrics.