DeepSeek-R1 Denkwijze: Laten we nadenken over redeneren met grote taalmodellen
DeepSeek-R1 Thoughtology: Let's <think> about LLM Reasoning
April 2, 2025
Auteurs: Sara Vera Marjanović, Arkil Patel, Vaibhav Adlakha, Milad Aghajohari, Parishad BehnamGhader, Mehar Bhatia, Aditi Khandelwal, Austin Kraft, Benno Krojer, Xing Han Lù, Nicholas Meade, Dongchan Shin, Amirhossein Kazemnejad, Gaurav Kamath, Marius Mosbach, Karolina Stańczak, Siva Reddy
cs.AI
Samenvatting
Grote Redeneermodellen zoals DeepSeek-R1 markeren een fundamentele verschuiving in hoe LLM's complexe problemen benaderen. In plaats van direct een antwoord te produceren voor een gegeven invoer, creëert DeepSeek-R1 gedetailleerde meerstaps redeneerketens, waarbij het lijkt alsof het model "nadenkt" over een probleem voordat het een antwoord geeft. Dit redeneerproces is openbaar beschikbaar voor de gebruiker, wat eindeloze mogelijkheden biedt om het redeneergedrag van het model te bestuderen en het vakgebied van Thoughtology te openen. Uitgaande van een taxonomie van de basisbouwstenen van redeneren van DeepSeek-R1, onderzoeken onze analyses de impact en beheersbaarheid van de lengte van gedachten, het omgaan met lange of verwarrende contexten, culturele en veiligheidszorgen, en de status van DeepSeek-R1 ten opzichte van cognitieve fenomenen, zoals mensachtige taalverwerking en wereldmodellering. Onze bevindingen schetsen een genuanceerd beeld. Opmerkelijk is dat we aantonen dat DeepSeek-R1 een 'sweet spot' van redeneren heeft, waarbij extra inferentietijd de modelprestaties kan verslechteren. Bovendien constateren we een neiging van DeepSeek-R1 om hardnekkig te blijven piekeren over eerder verkende probleemformuleringen, wat verder onderzoek belemmert. We merken ook sterke veiligheidskwetsbaarheden op van DeepSeek-R1 in vergelijking met zijn niet-redenerende tegenhanger, wat ook veiligheidsafgestemde LLM's in gevaar kan brengen.
English
Large Reasoning Models like DeepSeek-R1 mark a fundamental shift in how LLMs
approach complex problems. Instead of directly producing an answer for a given
input, DeepSeek-R1 creates detailed multi-step reasoning chains, seemingly
"thinking" about a problem before providing an answer. This reasoning process
is publicly available to the user, creating endless opportunities for studying
the reasoning behaviour of the model and opening up the field of Thoughtology.
Starting from a taxonomy of DeepSeek-R1's basic building blocks of reasoning,
our analyses on DeepSeek-R1 investigate the impact and controllability of
thought length, management of long or confusing contexts, cultural and safety
concerns, and the status of DeepSeek-R1 vis-\`a-vis cognitive phenomena, such
as human-like language processing and world modelling. Our findings paint a
nuanced picture. Notably, we show DeepSeek-R1 has a 'sweet spot' of reasoning,
where extra inference time can impair model performance. Furthermore, we find a
tendency for DeepSeek-R1 to persistently ruminate on previously explored
problem formulations, obstructing further exploration. We also note strong
safety vulnerabilities of DeepSeek-R1 compared to its non-reasoning
counterpart, which can also compromise safety-aligned LLMs.