CopT: Pensamento On-Policy Contrastivo com Espaços Contínuos para Raciocínio Geral e Agentivo

Resumo

A cadeia de pensamento (CoT, do inglês *chain-of-thought*) é uma abordagem padrão para extrair capacidades de raciocínio de modelos de linguagem de grande escala (LLMs, do inglês *large language models*). No entanto, o paradigma comum do CoT trata o pensamento como um pré-requisito para responder, o que pode atrasar o acesso a respostas plausíveis e incorrer em custos desnecessários de *tokens*, mesmo quando o modelo é capaz de identificar uma resposta antes de um pensamento prolongado — um comportamento conhecido como raciocínio performativo. Neste artigo, apresentamos o CopT, um pipeline de raciocínio reformulado que inverte a ordem usual de pensar e responder. Em vez de pensar antes de responder, o CopT primeiro elicia uma resposta preliminar (*draft answer*) e, em seguida, invoca um pensamento subsequente baseado na política atual (*on-policy thinking*), condicionado à sua própria resposta preliminar, para reflexão e correção. Para avaliar se a resposta preliminar deve ser confiável, o CopT reformula *embeddings* contínuos como verificadores contrastivos no momento da inferência. Especificamente, ele contrasta o suporte do modelo para os mesmos *tokens* gerados sob entradas de *tokens* discretos e entradas de *embeddings* contínuos, produzindo um estimador KL reverso (*reverse KL estimator*) em nível de sequência para a confiabilidade da resposta. Nossa análise mostra que, sob certas suposições, a estimativa esperada equivale à informação mútua entre o estado latente não resolvido e o *token* de resposta emitido, explicando por que ela captura incerteza relevante para a resposta, e não incerteza arbitrária no estado latente. Quando a resposta é considerada insuficientemente confiável, o CopT realiza pensamento adicional baseado na política atual, onde um segundo estimador KL controla dinamicamente a visibilidade da resposta preliminar, preservando informações parciais úteis enquanto reduz o risco de ser induzido a erro por conteúdo não confiável. Em tarefas de matemática, codificação e raciocínio agentivo, o CopT melhora a precisão máxima em até 23% e reduz o uso de *tokens* em até 57%, com precisão comparável ou superior, sem nenhum treinamento adicional. O código está disponível em https://github.com/sdc17/CopT.

English

Chain-of-thought (CoT) is a standard approach for eliciting reasoning capabilities from large language models (LLMs). However, the common CoT paradigm treats thinking as a prerequisite for answering, which can delay access to plausible answers and incur unnecessary token costs even when the model is able to identify an answer before extended thinking, a behavior known as performative reasoning. In this paper, we introduce CopT, a reformulated reasoning pipeline that reverses the usual order of thinking and answering. Instead of thinking before answering, CopT first elicits a draft answer and then invokes subsequent on-policy thinking conditioned on its own draft answer for reflection and correction. To assess whether the draft answer should be trusted, CopT recasts continuous embeddings as inference-time contrastive verifiers. Specifically, it contrasts the model's support for the same generated tokens under discrete-token inputs and continuous-embedding inputs, yielding a sequence-level reverse KL estimator for answer reliability. Our analysis shows that under certain assumptions, the expected estimate equals the mutual information between the unresolved latent state and the emitted answer token, explaining why it captures answer-relevant uncertainty rather than arbitrary uncertainty in the latent state. When the answer is deemed insufficiently reliable, CopT performs further on-policy thinking, where a second KL estimator dynamically controls draft-answer visibility, preserving useful partial information while reducing the risk of being misled by unreliable content. Across mathematics, coding, and agentic reasoning tasks, CopT improves peak accuracy by up to 23% and reduces token usage by up to 57% at comparable or higher accuracy, without any additional training. The code is available at https://github.com/sdc17/CopT.