IIB-LPO: Optimización de Políticas Latentes mediante Cuello de Botella de Información Iterativo

Resumen

Los recientes avances en Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) para el razonamiento de Modelos de Lenguaje a Gran Escala (LLM) se han visto obstaculizados por un desafío persistente: el colapso exploratorio. La homogeneidad semántica de las simulaciones aleatorias a menudo atrapa a los modelos en comportamientos estrechos y sobreoptimizados. Si bien los métodos existentes aprovechan la entropía de la política para fomentar la exploración, enfrentan limitaciones inherentes. La regularización de entropía global es susceptible a la manipulación de recompensas, lo que puede inducir verbosidad sin sentido, mientras que las actualizaciones locales selectivas por token luchan contra el fuerte sesgo inductivo de los modelos preentrenados. Para abordar esto, proponemos la Optimización de Políticas Latentes mediante el Cuello de Botella de Información Iterativo (IIB-LPO), un enfoque novedoso que desplaza la exploración desde la perturbación estadística de distribuciones de tokens hacia la ramificación topológica de trayectorias de razonamiento. IIB-LPO activa ramificaciones latentes en estados de alta entropía para diversificar las rutas de razonamiento y emplea el principio del Cuello de Botella de Información tanto como filtro de trayectorias como mecanismo de autorrecompensa, garantizando una exploración concisa e informativa. Los resultados empíricos en cuatro benchmarks de razonamiento matemático demuestran que IIB-LPO logra un rendimiento de vanguardia, superando a métodos anteriores con márgenes de hasta el 5.3% en precisión y el 7.4% en métricas de diversidad.

English

Recent advances in Reinforcement Learning with Verifiable Rewards (RLVR) for Large Language Model (LLM) reasoning have been hindered by a persistent challenge: exploration collapse. The semantic homogeneity of random rollouts often traps models in narrow, over-optimized behaviors. While existing methods leverage policy entropy to encourage exploration, they face inherent limitations. Global entropy regularization is susceptible to reward hacking, which can induce meaningless verbosity, whereas local token-selective updates struggle with the strong inductive bias of pre-trained models. To address this, we propose Latent Policy Optimization via Iterative Information Bottleneck (IIB-LPO), a novel approach that shifts exploration from statistical perturbation of token distributions to topological branching of reasoning trajectories. IIB-LPO triggers latent branching at high-entropy states to diversify reasoning paths and employs the Information Bottleneck principle both as a trajectory filter and a self-reward mechanism, ensuring concise and informative exploration. Empirical results across four mathematical reasoning benchmarks demonstrate that IIB-LPO achieves state-of-the-art performance, surpassing prior methods by margins of up to 5.3% in accuracy and 7.4% in diversity metrics.

IIB-LPO: Optimización de Políticas Latentes mediante Cuello de Botella de Información Iterativo

IIB-LPO: Latent Policy Optimization via Iterative Information Bottleneck

Resumen

Support