ReGuLaR: Variationalle latente Reasoning-geführte Verarbeitung anhand gerenderter Gedankenketten

ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought

January 30, 2026

papers.authors: Fanmeng Wang, Haotian Liu, Guojiang Zhao, Hongteng Xu, Zhifeng Gao

cs.AI

papers.abstract

Während Chain-of-Thought (CoT) die Leistung von Large Language Models (LLMs) erheblich steigert, führen explizite Reasoning-Ketten zu erheblicher Rechenredundanz. Jüngste latente Reasoning-Methoden versuchen dies zu mildern, indem sie Denkprozesse in den latenten Raum komprimieren, leiden jedoch oft unter erheblichen Leistungseinbußen aufgrund fehlender geeigneter Komprimierungsanleitung. In dieser Studie schlagen wir Rendered CoT-Guided Variational Latent Reasoning (ReGuLaR) vor, ein einfaches, aber neuartiges latentes Lernparadigma, das dieses Problem löst. Grundsätzlich formulieren wir latentes Reasoning innerhalb des Variational Auto-Encoding (VAE)-Frameworks, wobei wir den aktuellen latenten Reasoning-Zustand aus der Posterior-Verteilung unter Berücksichtigung vorheriger Zustände sampeln. Konkret rendern wir beim Erlernen dieses variationalen latenten Reasoning-Modells explizite Reasoning-Ketten als Bilder, aus denen wir dichte visuell-semantische Repräsentationen extrahieren, um die Posterior-Verteilung zu regularisieren und so eine effiziente Kompression mit minimalem Informationsverlust zu erreichen. Umfangreiche Experimente zeigen, dass ReGuLaR bestehende latente Reasoning-Methoden sowohl in Bezug auf Recheneffizienz als auch Reasoning-Effektivität signifikant übertrifft und CoT sogar durch multimodales Reasoning übertrifft, was eine neue und aufschlussreiche Lösung für latentes Reasoning bietet. Code: https://github.com/FanmengWang/ReGuLaR.

English

While Chain-of-Thought (CoT) significantly enhances the performance of Large Language Models (LLMs), explicit reasoning chains introduce substantial computational redundancy. Recent latent reasoning methods attempt to mitigate this by compressing reasoning processes into latent space, but often suffer from severe performance degradation due to the lack of appropriate compression guidance. In this study, we propose Rendered CoT-Guided variational Latent Reasoning (ReGuLaR), a simple yet novel latent learning paradigm resolving this issue. Fundamentally, we formulate latent reasoning within the Variational Auto-Encoding (VAE) framework, sampling the current latent reasoning state from the posterior distribution conditioned on previous ones. Specifically, when learning this variational latent reasoning model, we render explicit reasoning chains as images, from which we extract dense visual-semantic representations to regularize the posterior distribution, thereby achieving efficient compression with minimal information loss. Extensive experiments demonstrate that ReGuLaR significantly outperforms existing latent reasoning methods across both computational efficiency and reasoning effectiveness, and even surpasses CoT through multi-modal reasoning, providing a new and insightful solution to latent reasoning. Code: https://github.com/FanmengWang/ReGuLaR.