Ten cuidado con tus pasos (paso a paso): la cadena de pensamiento puede reducir el rendimiento en tareas donde el pensamiento hace que los humanos sean peores.

Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

October 27, 2024

Autores: Ryan Liu, Jiayi Geng, Addison J. Wu, Ilia Sucholutsky, Tania Lombrozo, Thomas L. Griffiths

cs.AI

Resumen

La técnica de inducción de cadenas de pensamiento (CoT, por sus siglas en inglés) se ha convertido en una estrategia ampliamente utilizada para trabajar con modelos de lenguaje y multimodales de gran tamaño. Si bien se ha demostrado que CoT mejora el rendimiento en muchas tareas, determinar los contextos en los que es efectivo sigue siendo un esfuerzo continuo. En particular, todavía es una pregunta abierta en qué contextos CoT reduce sistemáticamente el rendimiento del modelo. En este artículo, buscamos identificar las características de las tareas donde CoT disminuye el rendimiento, tomando inspiración de la psicología cognitiva, examinando casos en los que (i) el pensamiento verbal o la deliberación perjudican el rendimiento en humanos, y (ii) las restricciones que rigen el rendimiento humano se generalizan a los modelos de lenguaje. Tres casos de este tipo son el aprendizaje estadístico implícito, el reconocimiento visual y la clasificación con patrones que contienen excepciones. En experimentos extensos en los tres contextos, encontramos que una colección diversa de modelos de última generación exhiben caídas significativas en el rendimiento (por ejemplo, hasta un 36.3% de precisión absoluta para OpenAI o1-preview en comparación con GPT-4o) al utilizar el razonamiento en tiempo de inferencia en comparación con sus contrapartes de cero disparo. También identificamos tres tareas que cumplen con la condición (i) pero no con la (ii), y descubrimos que mientras el pensamiento verbal reduce el rendimiento humano en estas tareas, CoT mantiene o aumenta el rendimiento del modelo. En general, nuestros resultados muestran que si bien no hay un paralelo exacto entre los procesos cognitivos de los modelos y los de los humanos, considerar casos donde el pensamiento tiene consecuencias negativas para el rendimiento humano puede ayudarnos a identificar contextos donde impacta negativamente en los modelos. Al conectar la literatura sobre la deliberación humana con las evaluaciones de CoT, ofrecemos una nueva herramienta que puede utilizarse para comprender el impacto de las elecciones de indicaciones y el razonamiento en tiempo de inferencia.

English

Chain-of-thought (CoT) prompting has become a widely used strategy for working with large language and multimodal models. While CoT has been shown to improve performance across many tasks, determining the settings in which it is effective remains an ongoing effort. In particular, it is still an open question in what settings CoT systematically reduces model performance. In this paper, we seek to identify the characteristics of tasks where CoT reduces performance by drawing inspiration from cognitive psychology, looking at cases where (i) verbal thinking or deliberation hurts performance in humans, and (ii) the constraints governing human performance generalize to language models. Three such cases are implicit statistical learning, visual recognition, and classifying with patterns containing exceptions. In extensive experiments across all three settings, we find that a diverse collection of state-of-the-art models exhibit significant drop-offs in performance (e.g., up to 36.3% absolute accuracy for OpenAI o1-preview compared to GPT-4o) when using inference-time reasoning compared to zero-shot counterparts. We also identify three tasks that satisfy condition (i) but not (ii), and find that while verbal thinking reduces human performance in these tasks, CoT retains or increases model performance. Overall, our results show that while there is not an exact parallel between the cognitive processes of models and those of humans, considering cases where thinking has negative consequences for human performance can help us identify settings where it negatively impacts models. By connecting the literature on human deliberation with evaluations of CoT, we offer a new tool that can be used in understanding the impact of prompt choices and inference-time reasoning.