Les LLM ne pensent pas de manière pas à pas dans le raisonnement implicite.

LLMs Do Not Think Step-by-step In Implicit Reasoning

November 24, 2024

Auteurs: Yijiong Yu

cs.AI

Résumé

Il est bien connu que la Chaîne de Pensée peut considérablement améliorer les performances des LLMs sur des tâches complexes. Cependant, étant donné qu'elle entraîne également des vitesses d'inférence plus lentes et des coûts computationnels plus élevés, de nombreuses recherches ont tenté d'utiliser la Chaîne de Pensée implicite, qui ne nécessite pas que les LLMs génèrent explicitement les étapes intermédiaires. Cependant, il existe encore un écart entre leur efficacité et les méthodes typiques de Chaîne de Pensée explicite. Cela nous amène à douter : la Chaîne de Pensée implicite est-elle vraiment équivalente à la Chaîne de Pensée explicite ? Par conséquent, dans cette étude, nous abordons cette question à travers des expériences. Nous examinons les informations des étapes intermédiaires à partir des états cachés du modèle lorsqu'il effectue une Chaîne de Pensée implicite. Les résultats indiquent de manière surprenante que les LLMs réfléchissent à peine aux étapes intermédiaires, suggérant qu'ils peuvent simplement se fier à l'expérience plutôt qu'à un raisonnement strict étape par étape. De plus, nous constatons que les capacités de raisonnement implicite des LLMs sont sujettes à des fluctuations et instables, ce qui confirme la nécessité d'une Chaîne de Pensée explicite pour soutenir efficacement des tâches complexes.

English

It has been well-known that Chain-of-Thought can remarkably enhance LLMs' performance on complex tasks. However, because it also introduces slower inference speeds and higher computational costs, many researches have attempted to use implicit CoT, which does not need LLMs to explicitly generate the intermediate steps. But there is still gap between their efficacy and typical explicit CoT methods. This leaves us a doubt that, does implicit CoT really equal to explicit CoT? Therefore, in this study, we address this question through experiments. We probe the information of intermediate steps from the model's hidden states when it is performing implicit CoT. The results surprisingly indicate that LLMs hardly think about intermediate steps, suggesting they may just rely on experience rather than strict step-by-step reasoning. Moreover, we find LLMs' implicit reasoning capabilities are susceptible and unstable, reaffirming the necessity of explicit CoT to effectively support complex tasks.