CopT: Contrastief On-Policy Denken met Continue Ruimten voor Algemeen en Agentisch Redeneren

Samenvatting

Chain-of-thought (CoT) is een standaardbenadering voor het ontlokken van redeneervaardigheden aan grote taalmodellen (LLMs). Het gangbare CoT-paradigma beschouwt denken echter als een voorwaarde voor het beantwoorden, wat de toegang tot plausibele antwoorden kan vertragen en onnodige tokenkosten met zich meebrengt, zelfs wanneer het model in staat is een antwoord te identificeren vóór uitgebreid denken – een gedrag dat bekend staat als performatief redeneren. In dit artikel introduceren we CopT, een geherformuleerde redeneerpijplijn die de gebruikelijke volgorde van denken en antwoorden omkeert. In plaats van te denken vóór het antwoorden, ontlokt CopT eerst een conceptantwoord en roept vervolgens een daaropvolgend on-policy denken op, afhankelijk van het eigen conceptantwoord, voor reflectie en correctie. Om te beoordelen of het conceptantwoord vertrouwd kan worden, herschept CopT continue embeddings als inferentietijd-contrastieve verificateurs. Specifiek contrasteert het de ondersteuning van het model voor dezelfde gegenereerde tokens onder discrete-tokeninvoer en continue-embeddinginvoer, wat resulteert in een sequentieniveau-omgekeerde KL-schatter voor antwoordbetrouwbaarheid. Onze analyse toont aan dat, onder bepaalde aannames, de verwachte schatting gelijk is aan de wederzijdse informatie tussen de onopgeloste latente toestand en het gegenereerde antwoordtoken, wat verklaart waarom het antwoordrelevante onzekerheid vastlegt in plaats van willekeurige onzekerheid in de latente toestand. Wanneer het antwoord als onvoldoende betrouwbaar wordt beschouwd, voert CopT verder on-policy denken uit, waarbij een tweede KL-schatter dynamisch de zichtbaarheid van het conceptantwoord regelt, waardoor nuttige gedeeltelijke informatie behouden blijft terwijl het risico op misleiding door onbetrouwbare inhoud wordt verminderd. Bij wiskunde-, codeer- en agentische redeneertaken verbetert CopT de pieknauwkeurigheid met tot 23% en vermindert het het tokenverbruik met tot 57% bij vergelijkbare of hogere nauwkeurigheid, zonder enige extra training. De code is beschikbaar op https://github.com/sdc17/CopT.

English

Chain-of-thought (CoT) is a standard approach for eliciting reasoning capabilities from large language models (LLMs). However, the common CoT paradigm treats thinking as a prerequisite for answering, which can delay access to plausible answers and incur unnecessary token costs even when the model is able to identify an answer before extended thinking, a behavior known as performative reasoning. In this paper, we introduce CopT, a reformulated reasoning pipeline that reverses the usual order of thinking and answering. Instead of thinking before answering, CopT first elicits a draft answer and then invokes subsequent on-policy thinking conditioned on its own draft answer for reflection and correction. To assess whether the draft answer should be trusted, CopT recasts continuous embeddings as inference-time contrastive verifiers. Specifically, it contrasts the model's support for the same generated tokens under discrete-token inputs and continuous-embedding inputs, yielding a sequence-level reverse KL estimator for answer reliability. Our analysis shows that under certain assumptions, the expected estimate equals the mutual information between the unresolved latent state and the emitted answer token, explaining why it captures answer-relevant uncertainty rather than arbitrary uncertainty in the latent state. When the answer is deemed insufficiently reliable, CopT performs further on-policy thinking, where a second KL estimator dynamically controls draft-answer visibility, preserving useful partial information while reducing the risk of being misled by unreliable content. Across mathematics, coding, and agentic reasoning tasks, CopT improves peak accuracy by up to 23% and reduces token usage by up to 57% at comparable or higher accuracy, without any additional training. The code is available at https://github.com/sdc17/CopT.