ReGuLaR: Ragionamento Latente Variazionale Guidato da Catene di Pensiero Renderizzate

ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought

January 30, 2026

Autori: Fanmeng Wang, Haotian Liu, Guojiang Zhao, Hongteng Xu, Zhifeng Gao

cs.AI

Abstract

Mentre il ragionamento a catena (Chain-of-Thought, CoT) migliora significativamente le prestazioni dei Large Language Model (LLM), le catene di ragionamento esplicite introducono una sostanziale ridondanza computazionale. I recenti metodi di ragionamento latente tentano di mitigare questo problema comprimendo i processi inferenziali nello spazio latente, ma spesso soffrono di una grave degradazione delle prestazioni a causa della mancanza di un'adeguata guida alla compressione. In questo studio, proponiamo il Rendered CoT-Guided variational Latent Reasoning (ReGuLaR), un paradigma di apprendimento latente semplice ma innovativo che risolve questo problema. Fondamentalmente, formuliamo il ragionamento latente all'interno del framework di Variational Auto-Encoding (VAE), campionando lo stato di ragionamento latente corrente dalla distribuzione a posteriori condizionata a quelli precedenti. Nello specifico, durante l'apprendimento di questo modello di ragionamento latente variazionale, rendiamo le catene di ragionamento esplicite come immagini, dalle quali estraiamo rappresentazioni visivo-semantiche dense per regolarizzare la distribuzione a posteriori, ottenendo così una compressione efficiente con una perdita di informazioni minima. Esperimenti estensivi dimostrano che ReGuLaR supera significativamente i metodi di ragionamento latente esistenti sia in termini di efficienza computazionale che di efficacia inferenziale, e supera persino il CoT attraverso il ragionamento multimodale, fornendo una soluzione nuova e approfondita al ragionamento latente. Codice: https://github.com/FanmengWang/ReGuLaR.

English

While Chain-of-Thought (CoT) significantly enhances the performance of Large Language Models (LLMs), explicit reasoning chains introduce substantial computational redundancy. Recent latent reasoning methods attempt to mitigate this by compressing reasoning processes into latent space, but often suffer from severe performance degradation due to the lack of appropriate compression guidance. In this study, we propose Rendered CoT-Guided variational Latent Reasoning (ReGuLaR), a simple yet novel latent learning paradigm resolving this issue. Fundamentally, we formulate latent reasoning within the Variational Auto-Encoding (VAE) framework, sampling the current latent reasoning state from the posterior distribution conditioned on previous ones. Specifically, when learning this variational latent reasoning model, we render explicit reasoning chains as images, from which we extract dense visual-semantic representations to regularize the posterior distribution, thereby achieving efficient compression with minimal information loss. Extensive experiments demonstrate that ReGuLaR significantly outperforms existing latent reasoning methods across both computational efficiency and reasoning effectiveness, and even surpasses CoT through multi-modal reasoning, providing a new and insightful solution to latent reasoning. Code: https://github.com/FanmengWang/ReGuLaR.