Raisonnement en Chaîne de Pensée Sans Incitation

Chain-of-Thought Reasoning Without Prompting

February 15, 2024

Auteurs: Xuezhi Wang, Denny Zhou

cs.AI

Résumé

Pour améliorer les capacités de raisonnement des grands modèles de langage (LLMs), les recherches antérieures se concentrent principalement sur des techniques d'incitation spécifiques telles que l'incitation en chaîne de pensée (CoT) en few-shot ou zero-shot. Bien que ces méthodes soient efficaces, elles impliquent souvent une ingénierie d'incitation manuellement intensive. Notre étude adopte une approche novatrice en posant la question suivante : Les LLMs peuvent-ils raisonner efficacement sans incitation ? Nos résultats révèlent, de manière intrigante, que les chemins de raisonnement CoT peuvent être suscités à partir de LLMs pré-entraînés simplement en modifiant le processus de décodage. Plutôt que d'utiliser le décodage glouton conventionnel, nous examinons les k meilleurs tokens alternatifs, découvrant que les chemins CoT sont fréquemment inhérents à ces séquences. Cette approche permet non seulement de contourner les biais liés à l'incitation, mais aussi d'évaluer les capacités de raisonnement intrinsèques des LLMs. De plus, nous observons que la présence d'un CoT dans le chemin de décodage est corrélée à une confiance accrue dans la réponse décodée par le modèle. Cette métrique de confiance permet de différencier efficacement les chemins CoT des chemins non-CoT. Des études empiriques approfondies sur divers benchmarks de raisonnement montrent que le décodage CoT proposé surpasse substantiellement le décodage glouton standard.

English

In enhancing the reasoning capabilities of large language models (LLMs), prior research primarily focuses on specific prompting techniques such as few-shot or zero-shot chain-of-thought (CoT) prompting. These methods, while effective, often involve manually intensive prompt engineering. Our study takes a novel approach by asking: Can LLMs reason effectively without prompting? Our findings reveal that, intriguingly, CoT reasoning paths can be elicited from pre-trained LLMs by simply altering the decoding process. Rather than conventional greedy decoding, we investigate the top-k alternative tokens, uncovering that CoT paths are frequently inherent in these sequences. This approach not only bypasses the confounders of prompting but also allows us to assess the LLMs' intrinsic reasoning abilities. Moreover, we observe that the presence of a CoT in the decoding path correlates with a higher confidence in the model's decoded answer. This confidence metric effectively differentiates between CoT and non-CoT paths. Extensive empirical studies on various reasoning benchmarks show that the proposed CoT-decoding substantially outperforms the standard greedy decoding.