CopT : Pensée contrastive sur politique avec espaces continus pour un raisonnement général et agentique

Résumé

Le raisonnement en chaîne (chain-of-thought, CoT) est une approche standard pour extraire les capacités de raisonnement des grands modèles de langage (LLMs). Cependant, le paradigme courant du CoT considère la réflexion comme un prérequis à la réponse, ce qui peut retarder l'accès à des réponses plausibles et engendrer des coûts inutiles en jetons, même lorsque le modèle est capable d'identifier une réponse avant une réflexion approfondie, un comportement connu sous le nom de raisonnement performatif. Dans cet article, nous introduisons CopT, un pipeline de raisonnement reformulé qui inverse l'ordre habituel de la réflexion et de la réponse. Au lieu de réfléchir avant de répondre, CopT sollicite d'abord une réponse provisoire, puis déclenche un raisonnement on-policy ultérieur conditionné par sa propre réponse provisoire pour la réflexion et la correction. Pour évaluer si la réponse provisoire doit être considérée comme fiable, CopT reconfigure les plongements continus en vérificateurs contrastifs au moment de l'inférence. Plus précisément, il oppose le soutien du modèle pour les mêmes jetons générés sous des entrées à jetons discrets et des entrées à plongements continus, produisant un estimateur de KL inverse au niveau de la séquence pour la fiabilité de la réponse. Notre analyse montre que, sous certaines hypothèses, l'estimation attendue égale l'information mutuelle entre l'état latent non résolu et le jeton de réponse émis, expliquant pourquoi elle capture l'incertitude pertinente à la réponse plutôt qu'une incertitude arbitraire dans l'état latent. Lorsque la réponse est jugée insuffisamment fiable, CopT effectue un raisonnement on-policy supplémentaire, où un second estimateur de KL contrôle dynamiquement la visibilité de la réponse provisoire, préservant des informations partielles utiles tout en réduisant le risque d'être induit en erreur par un contenu peu fiable. Dans des tâches de mathématiques, de codage et de raisonnement agentique, CopT améliore la précision maximale jusqu'à 23 % et réduit l'utilisation de jetons jusqu'à 57 % avec une précision comparable ou supérieure, sans aucun entraînement supplémentaire. Le code est disponible à l'adresse https://github.com/sdc17/CopT.

English

Chain-of-thought (CoT) is a standard approach for eliciting reasoning capabilities from large language models (LLMs). However, the common CoT paradigm treats thinking as a prerequisite for answering, which can delay access to plausible answers and incur unnecessary token costs even when the model is able to identify an answer before extended thinking, a behavior known as performative reasoning. In this paper, we introduce CopT, a reformulated reasoning pipeline that reverses the usual order of thinking and answering. Instead of thinking before answering, CopT first elicits a draft answer and then invokes subsequent on-policy thinking conditioned on its own draft answer for reflection and correction. To assess whether the draft answer should be trusted, CopT recasts continuous embeddings as inference-time contrastive verifiers. Specifically, it contrasts the model's support for the same generated tokens under discrete-token inputs and continuous-embedding inputs, yielding a sequence-level reverse KL estimator for answer reliability. Our analysis shows that under certain assumptions, the expected estimate equals the mutual information between the unresolved latent state and the emitted answer token, explaining why it captures answer-relevant uncertainty rather than arbitrary uncertainty in the latent state. When the answer is deemed insufficiently reliable, CopT performs further on-policy thinking, where a second KL estimator dynamically controls draft-answer visibility, preserving useful partial information while reducing the risk of being misled by unreliable content. Across mathematics, coding, and agentic reasoning tasks, CopT improves peak accuracy by up to 23% and reduces token usage by up to 57% at comparable or higher accuracy, without any additional training. The code is available at https://github.com/sdc17/CopT.