ReGuLaR: Вариационный латентный вывод, управляемый визуализированной цепочкой рассуждений

ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought

January 30, 2026

Авторы: Fanmeng Wang, Haotian Liu, Guojiang Zhao, Hongteng Xu, Zhifeng Gao

cs.AI

Аннотация

Хотя метод цепочки рассуждений (CoT) значительно повышает производительность больших языковых моделей (LLM), явные цепочки рассуждений вносят существенную вычислительную избыточность. Новейшие методы латентного рассуждения пытаются устранить это путем сжатия процессов рассуждения в латентное пространство, но часто страдают от значительного снижения производительности из-за отсутствия адекватных ориентиров сжатия. В данном исследовании мы предлагаем Rendered CoT-Guided variational Latent Reasoning (ReGuLaR) — простую, но новую парадигму латентного обучения, решающую эту проблему. В основе нашего подхода лежит формулировка латентного рассуждения в рамках вариационного автоэнкодера (VAE), где текущее латентное состояние рассуждения семплируется из апостериорного распределения, обусловленного предыдущими состояниями. В частности, при обучении этой вариационной модели латентного рассуждения мы визуализируем явные цепочки рассуждений в виде изображений, из которых извлекаются плотные визуально-семантические представления для регуляризации апостериорного распределения, что позволяет достичь эффективного сжатия с минимальными потерями информации. Многочисленные эксперименты демонстрируют, что ReGuLaR значительно превосходит существующие методы латентного рассуждения как по вычислительной эффективности, так и по результативности рассуждений, а даже превосходит CoT благодаря мультимодальному рассуждению, предлагая новое и перспективное решение для латентного рассуждения. Код: https://github.com/FanmengWang/ReGuLaR.

English

While Chain-of-Thought (CoT) significantly enhances the performance of Large Language Models (LLMs), explicit reasoning chains introduce substantial computational redundancy. Recent latent reasoning methods attempt to mitigate this by compressing reasoning processes into latent space, but often suffer from severe performance degradation due to the lack of appropriate compression guidance. In this study, we propose Rendered CoT-Guided variational Latent Reasoning (ReGuLaR), a simple yet novel latent learning paradigm resolving this issue. Fundamentally, we formulate latent reasoning within the Variational Auto-Encoding (VAE) framework, sampling the current latent reasoning state from the posterior distribution conditioned on previous ones. Specifically, when learning this variational latent reasoning model, we render explicit reasoning chains as images, from which we extract dense visual-semantic representations to regularize the posterior distribution, thereby achieving efficient compression with minimal information loss. Extensive experiments demonstrate that ReGuLaR significantly outperforms existing latent reasoning methods across both computational efficiency and reasoning effectiveness, and even surpasses CoT through multi-modal reasoning, providing a new and insightful solution to latent reasoning. Code: https://github.com/FanmengWang/ReGuLaR.