ReGuLaR: レンダリングされた思考連鎖に導かれる変分潜在推論

ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought

January 30, 2026

著者: Fanmeng Wang, Haotian Liu, Guojiang Zhao, Hongteng Xu, Zhifeng Gao

cs.AI

要旨

Chain-of-Thought（CoT）は大規模言語モデル（LLM）の性能を大幅に向上させるが、明示的な推論チェーンは計算上の大幅な冗長性を導入する。近年の潜在推論手法は、推論プロセスを潜在空間に圧縮することでこの問題の緩和を試みているが、適切な圧縮ガイダンスの欠如により、性能が大幅に低下するケースが多かった。本研究では、この問題を解決するシンプルかつ新奇な潜在学習パラダイムである、Rendered CoT-Guided variational Latent Reasoning（ReGuLaR）を提案する。本質的には、変分オートエンコーダ（VAE）フレームワーク内で潜在推論を定式化し、過去の状態を条件とした事後分布から現在の潜在推論状態をサンプリングする。具体的には、この変分潜在推論モデルを学習する際、明示的な推論チェーンを画像としてレンダリングし、そこから密な視覚的・意味的表現を抽出して事後分布を正則化することで、情報損失を最小限に抑えた効率的な圧縮を実現する。大規模な実験により、ReGuLaRが計算効率と推論効果の両面で既存の潜在推論手法を大幅に上回り、マルチモーダル推論を通じてCoTをも凌駕することを実証し、潜在推論に対する新たで洞察に富む解決策を提供する。コード：https://github.com/FanmengWang/ReGuLaR。

English

While Chain-of-Thought (CoT) significantly enhances the performance of Large Language Models (LLMs), explicit reasoning chains introduce substantial computational redundancy. Recent latent reasoning methods attempt to mitigate this by compressing reasoning processes into latent space, but often suffer from severe performance degradation due to the lack of appropriate compression guidance. In this study, we propose Rendered CoT-Guided variational Latent Reasoning (ReGuLaR), a simple yet novel latent learning paradigm resolving this issue. Fundamentally, we formulate latent reasoning within the Variational Auto-Encoding (VAE) framework, sampling the current latent reasoning state from the posterior distribution conditioned on previous ones. Specifically, when learning this variational latent reasoning model, we render explicit reasoning chains as images, from which we extract dense visual-semantic representations to regularize the posterior distribution, thereby achieving efficient compression with minimal information loss. Extensive experiments demonstrate that ReGuLaR significantly outperforms existing latent reasoning methods across both computational efficiency and reasoning effectiveness, and even surpasses CoT through multi-modal reasoning, providing a new and insightful solution to latent reasoning. Code: https://github.com/FanmengWang/ReGuLaR.