DeepSeek-R1 Pensamiento Lógico: Reflexionemos sobre el Razonamiento en Modelos de Lenguaje

DeepSeek-R1 Thoughtology: Let's <think> about LLM Reasoning

April 2, 2025

Autores: Sara Vera Marjanović, Arkil Patel, Vaibhav Adlakha, Milad Aghajohari, Parishad BehnamGhader, Mehar Bhatia, Aditi Khandelwal, Austin Kraft, Benno Krojer, Xing Han Lù, Nicholas Meade, Dongchan Shin, Amirhossein Kazemnejad, Gaurav Kamath, Marius Mosbach, Karolina Stańczak, Siva Reddy

cs.AI

Resumen

Los Modelos de Razonamiento a Gran Escala como DeepSeek-R1 representan un cambio fundamental en cómo los LLM abordan problemas complejos. En lugar de producir directamente una respuesta para una entrada dada, DeepSeek-R1 crea cadenas de razonamiento detalladas de múltiples pasos, aparentemente "pensando" sobre un problema antes de proporcionar una respuesta. Este proceso de razonamiento está disponible públicamente para el usuario, creando infinitas oportunidades para estudiar el comportamiento de razonamiento del modelo y abriendo el campo de la Pensología. Partiendo de una taxonomía de los bloques básicos de razonamiento de DeepSeek-R1, nuestros análisis sobre DeepSeek-R1 investigan el impacto y la controlabilidad de la longitud del pensamiento, la gestión de contextos largos o confusos, las preocupaciones culturales y de seguridad, y el estado de DeepSeek-R1 en relación con fenómenos cognitivos, como el procesamiento de lenguaje similar al humano y el modelado del mundo. Nuestros hallazgos presentan una imagen matizada. En particular, mostramos que DeepSeek-R1 tiene un 'punto óptimo' de razonamiento, donde el tiempo adicional de inferencia puede perjudicar el rendimiento del modelo. Además, encontramos una tendencia de DeepSeek-R1 a rumiar persistentemente sobre formulaciones de problemas previamente exploradas, obstaculizando una mayor exploración. También observamos fuertes vulnerabilidades de seguridad en DeepSeek-R1 en comparación con su contraparte no razonadora, lo que también puede comprometer a los LLM alineados con la seguridad.

English

Large Reasoning Models like DeepSeek-R1 mark a fundamental shift in how LLMs approach complex problems. Instead of directly producing an answer for a given input, DeepSeek-R1 creates detailed multi-step reasoning chains, seemingly "thinking" about a problem before providing an answer. This reasoning process is publicly available to the user, creating endless opportunities for studying the reasoning behaviour of the model and opening up the field of Thoughtology. Starting from a taxonomy of DeepSeek-R1's basic building blocks of reasoning, our analyses on DeepSeek-R1 investigate the impact and controllability of thought length, management of long or confusing contexts, cultural and safety concerns, and the status of DeepSeek-R1 vis-\`a-vis cognitive phenomena, such as human-like language processing and world modelling. Our findings paint a nuanced picture. Notably, we show DeepSeek-R1 has a 'sweet spot' of reasoning, where extra inference time can impair model performance. Furthermore, we find a tendency for DeepSeek-R1 to persistently ruminate on previously explored problem formulations, obstructing further exploration. We also note strong safety vulnerabilities of DeepSeek-R1 compared to its non-reasoning counterpart, which can also compromise safety-aligned LLMs.