IIB-LPO: Оптимизация латентной политики посредством итеративного информационного узкого места

IIB-LPO: Latent Policy Optimization via Iterative Information Bottleneck

January 9, 2026

Авторы: Huilin Deng, Hongchen Luo, Yue Zhu, Long Li, Zhuoyue Chen, Xinghao Zhao, Ming Li, Jihai Zhang, Mengchang Wang, Yang Cao, Yu Kang

cs.AI

Аннотация

Последние достижения в области обучения с подкреплением с верифицируемыми вознаграждениями (RLVR) для логических рассуждений больших языковых моделей (LLM) сталкиваются с устойчивой проблемой: коллапсом исследования. Семантическая однородность случайных прогонов часто загоняет модели в узкие, переоптимизированные поведенческие шаблоны. Хотя существующие методы используют энтропию политики для стимулирования исследования, они имеют фундаментальные ограничения. Глобальная энтропийная регуляризация подвержена взлому вознаграждений, что может приводить к бессмысленной многословности, тогда как локальные токен-селективные обновления плохо справляются с сильным индуктивным смещением предобученных моделей. Для решения этой проблемы мы предлагаем Оптимизацию Латентной Политики через Итеративный Информационный Бутылочное Горлышко (IIB-LPO) — новый подход, который смещает фокус исследования со статистического возмущения токенных распределений на топологическое ветвление траекторий рассуждений. IIB-LPO инициирует латентное ветвление в состояниях с высокой энтропией для диверсификации путей рассуждения и использует принцип Информационного Бутылочного Горлышка как в роли фильтра траекторий, так и в качестве механизма самовознаграждения, обеспечивая сжатое и содержательное исследование. Эмпирические результаты, полученные на четырех тестовых наборах для математических рассуждений, демонстрируют, что IIB-LPO достигает наилучших результатов, превосходя предыдущие методы с отрывом до 5.3% по точности и до 7.4% по метрикам разнообразия.

English

Recent advances in Reinforcement Learning with Verifiable Rewards (RLVR) for Large Language Model (LLM) reasoning have been hindered by a persistent challenge: exploration collapse. The semantic homogeneity of random rollouts often traps models in narrow, over-optimized behaviors. While existing methods leverage policy entropy to encourage exploration, they face inherent limitations. Global entropy regularization is susceptible to reward hacking, which can induce meaningless verbosity, whereas local token-selective updates struggle with the strong inductive bias of pre-trained models. To address this, we propose Latent Policy Optimization via Iterative Information Bottleneck (IIB-LPO), a novel approach that shifts exploration from statistical perturbation of token distributions to topological branching of reasoning trajectories. IIB-LPO triggers latent branching at high-entropy states to diversify reasoning paths and employs the Information Bottleneck principle both as a trajectory filter and a self-reward mechanism, ensuring concise and informative exploration. Empirical results across four mathematical reasoning benchmarks demonstrate that IIB-LPO achieves state-of-the-art performance, surpassing prior methods by margins of up to 5.3% in accuracy and 7.4% in diversity metrics.