Los LLMs no piensan paso a paso en el razonamiento implícito.

LLMs Do Not Think Step-by-step In Implicit Reasoning

November 24, 2024

Autores: Yijiong Yu

cs.AI

Resumen

Ha sido bien sabido que la Cadena de Pensamiento puede mejorar notablemente el rendimiento de los LLMs en tareas complejas. Sin embargo, debido a que también introduce velocidades de inferencia más lentas y mayores costos computacionales, muchos investigadores han intentado utilizar CoT implícito, el cual no requiere que los LLMs generen explícitamente los pasos intermedios. A pesar de esto, todavía existe una brecha entre su eficacia y los métodos típicos de CoT explícito. Esto nos lleva a cuestionar si el CoT implícito realmente equivale al CoT explícito. Por lo tanto, en este estudio abordamos esta pregunta a través de experimentos. Investigamos la información de los pasos intermedios a partir de los estados ocultos del modelo cuando está realizando CoT implícito. Los resultados indican sorprendentemente que los LLMs apenas consideran los pasos intermedios, lo que sugiere que pueden depender más de la experiencia que de un razonamiento estricto paso a paso. Además, encontramos que las capacidades de razonamiento implícito de los LLMs son susceptibles e inestables, reafirmando la necesidad de CoT explícito para apoyar efectivamente tareas complejas.

English

It has been well-known that Chain-of-Thought can remarkably enhance LLMs' performance on complex tasks. However, because it also introduces slower inference speeds and higher computational costs, many researches have attempted to use implicit CoT, which does not need LLMs to explicitly generate the intermediate steps. But there is still gap between their efficacy and typical explicit CoT methods. This leaves us a doubt that, does implicit CoT really equal to explicit CoT? Therefore, in this study, we address this question through experiments. We probe the information of intermediate steps from the model's hidden states when it is performing implicit CoT. The results surprisingly indicate that LLMs hardly think about intermediate steps, suggesting they may just rely on experience rather than strict step-by-step reasoning. Moreover, we find LLMs' implicit reasoning capabilities are susceptible and unstable, reaffirming the necessity of explicit CoT to effectively support complex tasks.