CopT: Pensamiento Contrastivo On-Policy con Espacios Continuos para el Razonamiento General y Agéntico

Resumen

La cadena de pensamiento (CoT, por sus siglas en inglés) es un enfoque estándar para obtener capacidades de razonamiento de los modelos de lenguaje de gran escala (LLM). Sin embargo, el paradigma común de CoT trata el pensamiento como un requisito previo para responder, lo cual puede retrasar el acceso a respuestas plausibles e incurrir en costos de tokens innecesarios incluso cuando el modelo es capaz de identificar una respuesta antes de un pensamiento extenso, un comportamiento conocido como razonamiento performativo. En este artículo, presentamos CopT, un proceso de razonamiento reformulado que invierte el orden habitual de pensar y responder. En lugar de pensar antes de responder, CopT primero obtiene un borrador de respuesta y luego invoca un pensamiento posterior on-policy condicionado a su propio borrador de respuesta para reflexión y corrección. Para evaluar si se debe confiar en el borrador de respuesta, CopT reformula las incrustaciones continuas como verificadores contrastivos en tiempo de inferencia. Específicamente, contrasta el soporte del modelo para los mismos tokens generados bajo entradas de tokens discretos y entradas de incrustaciones continuas, obteniendo un estimador KL inverso a nivel de secuencia para la fiabilidad de la respuesta. Nuestro análisis muestra que, bajo ciertos supuestos, la estimación esperada equivale a la información mutua entre el estado latente no resuelto y el token de respuesta emitido, explicando por qué captura incertidumbre relevante a la respuesta en lugar de incertidumbre arbitraria en el estado latente. Cuando se considera que la respuesta no es suficientemente fiable, CopT realiza un pensamiento on-policy adicional, donde un segundo estimador KL controla dinámicamente la visibilidad del borrador de respuesta, preservando información parcial útil mientras reduce el riesgo de ser engañado por contenido no fiable. En tareas de matemáticas, codificación y razonamiento agentivo, CopT mejora la precisión máxima hasta en un 23% y reduce el uso de tokens hasta en un 57% con una precisión comparable o mayor, sin ningún entrenamiento adicional. El código está disponible en https://github.com/sdc17/CopT.

English

Chain-of-thought (CoT) is a standard approach for eliciting reasoning capabilities from large language models (LLMs). However, the common CoT paradigm treats thinking as a prerequisite for answering, which can delay access to plausible answers and incur unnecessary token costs even when the model is able to identify an answer before extended thinking, a behavior known as performative reasoning. In this paper, we introduce CopT, a reformulated reasoning pipeline that reverses the usual order of thinking and answering. Instead of thinking before answering, CopT first elicits a draft answer and then invokes subsequent on-policy thinking conditioned on its own draft answer for reflection and correction. To assess whether the draft answer should be trusted, CopT recasts continuous embeddings as inference-time contrastive verifiers. Specifically, it contrasts the model's support for the same generated tokens under discrete-token inputs and continuous-embedding inputs, yielding a sequence-level reverse KL estimator for answer reliability. Our analysis shows that under certain assumptions, the expected estimate equals the mutual information between the unresolved latent state and the emitted answer token, explaining why it captures answer-relevant uncertainty rather than arbitrary uncertainty in the latent state. When the answer is deemed insufficiently reliable, CopT performs further on-policy thinking, where a second KL estimator dynamically controls draft-answer visibility, preserving useful partial information while reducing the risk of being misled by unreliable content. Across mathematics, coding, and agentic reasoning tasks, CopT improves peak accuracy by up to 23% and reduces token usage by up to 57% at comparable or higher accuracy, without any additional training. The code is available at https://github.com/sdc17/CopT.