Cuidado com o Passo (a Passo): Encadeamento de Pensamentos Pode Reduzir o Desempenho em Tarefas onde o Pensamento Torna os Humanos Piores

Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

October 27, 2024

Autores: Ryan Liu, Jiayi Geng, Addison J. Wu, Ilia Sucholutsky, Tania Lombrozo, Thomas L. Griffiths

cs.AI

Resumo

A estratégia de indução de cadeia de pensamento (CoT) tornou-se amplamente utilizada para trabalhar com grandes modelos de linguagem e multimodais. Embora a CoT tenha demonstrado melhorar o desempenho em muitas tarefas, determinar as configurações em que ela é eficaz continua sendo um esforço contínuo. Em particular, ainda é uma questão em aberto em que configurações a CoT reduz sistematicamente o desempenho do modelo. Neste artigo, buscamos identificar as características de tarefas em que a CoT reduz o desempenho, inspirando-nos na psicologia cognitiva, analisando casos em que (i) o pensamento verbal ou a deliberação prejudicam o desempenho em humanos e (ii) as restrições que regem o desempenho humano se generalizam para modelos de linguagem. Três desses casos são aprendizagem estatística implícita, reconhecimento visual e classificação com padrões contendo exceções. Em experimentos extensivos em todas essas configurações, descobrimos que uma coleção diversificada de modelos de última geração apresentam quedas significativas no desempenho (por exemplo, até 36,3% de precisão absoluta para o OpenAI o1-preview em comparação com o GPT-4o) ao usar raciocínio no momento da inferência em comparação com contrapartes de zero-shot. Também identificamos três tarefas que satisfazem a condição (i) mas não (ii) e descobrimos que, enquanto o pensamento verbal reduz o desempenho humano nessas tarefas, a CoT mantém ou aumenta o desempenho do modelo. No geral, nossos resultados mostram que, embora não haja um paralelo exato entre os processos cognitivos dos modelos e os dos humanos, considerar casos em que o pensamento tem consequências negativas para o desempenho humano pode nos ajudar a identificar configurações em que ele impacta negativamente os modelos. Ao conectar a literatura sobre deliberação humana com avaliações da CoT, oferecemos uma nova ferramenta que pode ser usada para entender o impacto das escolhas de prompts e do raciocínio no momento da inferência.

English

Chain-of-thought (CoT) prompting has become a widely used strategy for working with large language and multimodal models. While CoT has been shown to improve performance across many tasks, determining the settings in which it is effective remains an ongoing effort. In particular, it is still an open question in what settings CoT systematically reduces model performance. In this paper, we seek to identify the characteristics of tasks where CoT reduces performance by drawing inspiration from cognitive psychology, looking at cases where (i) verbal thinking or deliberation hurts performance in humans, and (ii) the constraints governing human performance generalize to language models. Three such cases are implicit statistical learning, visual recognition, and classifying with patterns containing exceptions. In extensive experiments across all three settings, we find that a diverse collection of state-of-the-art models exhibit significant drop-offs in performance (e.g., up to 36.3% absolute accuracy for OpenAI o1-preview compared to GPT-4o) when using inference-time reasoning compared to zero-shot counterparts. We also identify three tasks that satisfy condition (i) but not (ii), and find that while verbal thinking reduces human performance in these tasks, CoT retains or increases model performance. Overall, our results show that while there is not an exact parallel between the cognitive processes of models and those of humans, considering cases where thinking has negative consequences for human performance can help us identify settings where it negatively impacts models. By connecting the literature on human deliberation with evaluations of CoT, we offer a new tool that can be used in understanding the impact of prompt choices and inference-time reasoning.