LLMs Não Pensam Passo a Passo no Raciocínio Implícito

LLMs Do Not Think Step-by-step In Implicit Reasoning

November 24, 2024

Autores: Yijiong Yu

cs.AI

Resumo

Tem sido bem conhecido que a Cadeia de Pensamento pode melhorar significativamente o desempenho dos LLMs em tarefas complexas. No entanto, devido à introdução de velocidades de inferência mais lentas e custos computacionais mais altos, muitas pesquisas têm tentado utilizar CoT implícito, que não exige que os LLMs gerem explicitamente as etapas intermediárias. No entanto, ainda há uma lacuna entre a eficácia deles e os métodos típicos de CoT explícito. Isso nos deixa com a dúvida se o CoT implícito realmente equivale ao CoT explícito. Portanto, neste estudo, abordamos essa questão por meio de experimentos. Investigamos as informações das etapas intermediárias a partir dos estados ocultos do modelo quando ele está realizando CoT implícito. Os resultados indicam surpreendentemente que os LLMs dificilmente consideram as etapas intermediárias, sugerindo que eles podem simplesmente depender da experiência em vez de um raciocínio estrito passo a passo. Além disso, descobrimos que as capacidades de raciocínio implícito dos LLMs são suscetíveis e instáveis, reafirmando a necessidade de CoT explícito para apoiar efetivamente tarefas complexas.

English

It has been well-known that Chain-of-Thought can remarkably enhance LLMs' performance on complex tasks. However, because it also introduces slower inference speeds and higher computational costs, many researches have attempted to use implicit CoT, which does not need LLMs to explicitly generate the intermediate steps. But there is still gap between their efficacy and typical explicit CoT methods. This leaves us a doubt that, does implicit CoT really equal to explicit CoT? Therefore, in this study, we address this question through experiments. We probe the information of intermediate steps from the model's hidden states when it is performing implicit CoT. The results surprisingly indicate that LLMs hardly think about intermediate steps, suggesting they may just rely on experience rather than strict step-by-step reasoning. Moreover, we find LLMs' implicit reasoning capabilities are susceptible and unstable, reaffirming the necessity of explicit CoT to effectively support complex tasks.