ReGuLaR : Raisonnement latent variationnel guidé par une chaîne de pensée rendue

ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought

January 30, 2026

papers.authors: Fanmeng Wang, Haotian Liu, Guojiang Zhao, Hongteng Xu, Zhifeng Gao

cs.AI

papers.abstract

Bien que la méthode Chain-of-Thought (Chaîne de Pensée, CoT) améliore significativement les performances des Grands Modèles de Langage (LLM), les chaînes de raisonnement explicites introduisent une redondance computationnelle substantielle. Les méthodes de raisonnement latent récentes tentent de remédier à ce problème en comprimant les processus de raisonnement dans un espace latent, mais elles souffrent souvent d'une dégradation sévère des performances en raison de l'absence de guidage de compression approprié. Dans cette étude, nous proposons ReGuLaR (Rendered CoT-Guided variational Latent Reasoning), un paradigme d'apprentissage latent simple mais novateur qui résout ce problème. Fondamentalement, nous formulons le raisonnement latent dans le cadre des Auto-Encodeurs Variationnels (VAE), en échantillonnant l'état de raisonnement latent actuel à partir de la distribution a posteriori conditionnée par les états précédents. Plus précisément, lors de l'apprentissage de ce modèle de raisonnement latent variationnel, nous rendons les chaînes de raisonnement explicites sous forme d'images, à partir desquelles nous extrayons des représentations visuelles-sémantiques denses pour régulariser la distribution a posteriori, permettant ainsi une compression efficace avec une perte d'information minimale. Des expériences approfondies démontrent que ReGuLaR surpasse significativement les méthodes de raisonnement latent existantes à la fois en efficacité computationnelle et en efficacité du raisonnement, et dépasse même la méthode CoT grâce à un raisonnement multimodal, offrant ainsi une solution nouvelle et perspicace au raisonnement latent. Code : https://github.com/FanmengWang/ReGuLaR.

English

While Chain-of-Thought (CoT) significantly enhances the performance of Large Language Models (LLMs), explicit reasoning chains introduce substantial computational redundancy. Recent latent reasoning methods attempt to mitigate this by compressing reasoning processes into latent space, but often suffer from severe performance degradation due to the lack of appropriate compression guidance. In this study, we propose Rendered CoT-Guided variational Latent Reasoning (ReGuLaR), a simple yet novel latent learning paradigm resolving this issue. Fundamentally, we formulate latent reasoning within the Variational Auto-Encoding (VAE) framework, sampling the current latent reasoning state from the posterior distribution conditioned on previous ones. Specifically, when learning this variational latent reasoning model, we render explicit reasoning chains as images, from which we extract dense visual-semantic representations to regularize the posterior distribution, thereby achieving efficient compression with minimal information loss. Extensive experiments demonstrate that ReGuLaR significantly outperforms existing latent reasoning methods across both computational efficiency and reasoning effectiveness, and even surpasses CoT through multi-modal reasoning, providing a new and insightful solution to latent reasoning. Code: https://github.com/FanmengWang/ReGuLaR.