LLMs denken nicht schrittweise bei implizitem Schlussfolgern.

LLMs Do Not Think Step-by-step In Implicit Reasoning

November 24, 2024

Autoren: Yijiong Yu

cs.AI

Zusammenfassung

Es ist bekannt, dass die Ketten des Denkens die Leistung von LLMs bei komplexen Aufgaben erheblich verbessern können. Da sie jedoch auch langsamere Inferenzgeschwindigkeiten und höhere Rechenkosten mit sich bringen, haben viele Forscher versucht, implizite CoT zu verwenden, bei der LLMs nicht explizit die Zwischenschritte generieren müssen. Es besteht jedoch immer noch eine Kluft zwischen ihrer Wirksamkeit und den typischen expliziten CoT-Methoden. Dies wirft die Frage auf, ob implizite CoT wirklich gleichwertig mit explizitem CoT ist. Daher adressieren wir in dieser Studie diese Frage durch Experimente. Wir untersuchen die Informationen der Zwischenschritte aus den verborgenen Zuständen des Modells, wenn es implizite CoT durchführt. Die Ergebnisse deuten überraschenderweise darauf hin, dass LLMs kaum über Zwischenschritte nachdenken, was darauf hindeutet, dass sie sich möglicherweise nur auf Erfahrung und nicht auf strenges schrittweises Denken verlassen. Darüber hinaus stellen wir fest, dass die impliziten Denkfähigkeiten von LLMs anfällig und instabil sind, was die Notwendigkeit von explizitem CoT zur effektiven Unterstützung komplexer Aufgaben bekräftigt.

English

It has been well-known that Chain-of-Thought can remarkably enhance LLMs' performance on complex tasks. However, because it also introduces slower inference speeds and higher computational costs, many researches have attempted to use implicit CoT, which does not need LLMs to explicitly generate the intermediate steps. But there is still gap between their efficacy and typical explicit CoT methods. This leaves us a doubt that, does implicit CoT really equal to explicit CoT? Therefore, in this study, we address this question through experiments. We probe the information of intermediate steps from the model's hidden states when it is performing implicit CoT. The results surprisingly indicate that LLMs hardly think about intermediate steps, suggesting they may just rely on experience rather than strict step-by-step reasoning. Moreover, we find LLMs' implicit reasoning capabilities are susceptible and unstable, reaffirming the necessity of explicit CoT to effectively support complex tasks.