SoftCoT++: Test-Time Schaalbaarheid met Zachte Ketting-van-Gedachten Redenering

SoftCoT++: Test-Time Scaling with Soft Chain-of-Thought Reasoning

May 16, 2025

Auteurs: Yige Xu, Xu Guo, Zhiwei Zeng, Chunyan Miao

cs.AI

Samenvatting

Test-Time Scaling (TTS) verwijst naar benaderingen die de redeneerprestaties verbeteren door extra rekenkracht toe te wijzen tijdens de inferentie, zonder de parameters van het model aan te passen. Terwijl bestaande TTS-methoden werken in een discrete tokenruimte door meer tussenstappen te genereren, hebben recente studies in Coconut en SoftCoT aangetoond dat denken in de continue latente ruimte de redeneerprestaties verder kan verbeteren. Dergelijke latente gedachten coderen informatieve denkprocessen zonder het informatieverlies dat gepaard gaat met autoregressieve token-generatie, wat een groeiende interesse in redeneren in continue ruimte heeft aangewakkerd. In tegenstelling tot discrete decodering, waarbij herhaalde steekproeven het mogelijk maken om diverse redeneerpaden te verkennen, zijn latente representaties in continue ruimte vast voor een gegeven invoer, wat diverse verkenning beperkt, aangezien alle gedecodeerde paden voortkomen uit dezelfde latente gedachte. Om deze beperking te overwinnen, introduceren we SoftCoT++ om SoftCoT uit te breiden naar het Test-Time Scaling-paradigma door diverse verkenning van denkpaden mogelijk te maken. Specifiek verstoren we latente gedachten via meerdere gespecialiseerde begintokens en passen we contrastief leren toe om diversiteit onder zachte gedachtenrepresentaties te bevorderen. Experimenten over vijf redeneerbenchmarks en twee verschillende LLM-architecturen tonen aan dat SoftCoT++ SoftCoT aanzienlijk verbetert en ook beter presteert dan SoftCoT met self-consistency scaling. Bovendien toont het sterke compatibiliteit met conventionele schaaltechnieken zoals self-consistency. Broncode is beschikbaar op https://github.com/xuyige/SoftCoT.

English

Test-Time Scaling (TTS) refers to approaches that improve reasoning performance by allocating extra computation during inference, without altering the model's parameters. While existing TTS methods operate in a discrete token space by generating more intermediate steps, recent studies in Coconut and SoftCoT have demonstrated that thinking in the continuous latent space can further enhance the reasoning performance. Such latent thoughts encode informative thinking without the information loss associated with autoregressive token generation, sparking increased interest in continuous-space reasoning. Unlike discrete decoding, where repeated sampling enables exploring diverse reasoning paths, latent representations in continuous space are fixed for a given input, which limits diverse exploration, as all decoded paths originate from the same latent thought. To overcome this limitation, we introduce SoftCoT++ to extend SoftCoT to the Test-Time Scaling paradigm by enabling diverse exploration of thinking paths. Specifically, we perturb latent thoughts via multiple specialized initial tokens and apply contrastive learning to promote diversity among soft thought representations. Experiments across five reasoning benchmarks and two distinct LLM architectures demonstrate that SoftCoT++ significantly boosts SoftCoT and also outperforms SoftCoT with self-consistency scaling. Moreover, it shows strong compatibility with conventional scaling techniques such as self-consistency. Source code is available at https://github.com/xuyige/SoftCoT.