ReGuLaR: Razonamiento Latente Variacional Guiado por Cadenas de Pensamiento Renderizadas

ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought

January 30, 2026

Autores: Fanmeng Wang, Haotian Liu, Guojiang Zhao, Hongteng Xu, Zhifeng Gao

cs.AI

Resumen

Si bien el encadenamiento de pensamientos (CoT) mejora significativamente el rendimiento de los modelos de lenguaje grandes (LLMs), las cadenas de razonamiento explícitas introducen una redundancia computacional sustancial. Los métodos recientes de razonamiento latente intentan mitigar esto comprimiendo los procesos de razonamiento en un espacio latente, pero a menudo sufren una degradación severa del rendimiento debido a la falta de una guía de compresión adecuada. En este estudio, proponemos Razonamiento Latente Variacional Guiado por CoT Renderizado (ReGuLaR), un paradigma de aprendizaje latente novedoso y simple que resuelve este problema. Fundamentalmente, formulamos el razonamiento latente dentro del marco de Autoencoders Variacionales (VAE), muestreando el estado latente de razonamiento actual a partir de la distribución posterior condicionada a los estados anteriores. Específicamente, al aprender este modelo de razonamiento latente variacional, renderizamos las cadenas de razonamiento explícitas como imágenes, de las cuales extraemos representaciones visuales-semánticas densas para regularizar la distribución posterior, logrando así una compresión eficiente con una pérdida mínima de información. Experimentos exhaustivos demuestran que ReGuLaR supera significativamente a los métodos de razonamiento latente existentes tanto en eficiencia computacional como en efectividad de razonamiento, e incluso supera a CoT mediante el razonamiento multimodal, ofreciendo una solución nueva y perspicaz al razonamiento latente. Código: https://github.com/FanmengWang/ReGuLaR.

English

While Chain-of-Thought (CoT) significantly enhances the performance of Large Language Models (LLMs), explicit reasoning chains introduce substantial computational redundancy. Recent latent reasoning methods attempt to mitigate this by compressing reasoning processes into latent space, but often suffer from severe performance degradation due to the lack of appropriate compression guidance. In this study, we propose Rendered CoT-Guided variational Latent Reasoning (ReGuLaR), a simple yet novel latent learning paradigm resolving this issue. Fundamentally, we formulate latent reasoning within the Variational Auto-Encoding (VAE) framework, sampling the current latent reasoning state from the posterior distribution conditioned on previous ones. Specifically, when learning this variational latent reasoning model, we render explicit reasoning chains as images, from which we extract dense visual-semantic representations to regularize the posterior distribution, thereby achieving efficient compression with minimal information loss. Extensive experiments demonstrate that ReGuLaR significantly outperforms existing latent reasoning methods across both computational efficiency and reasoning effectiveness, and even surpasses CoT through multi-modal reasoning, providing a new and insightful solution to latent reasoning. Code: https://github.com/FanmengWang/ReGuLaR.