Efficiënte Redeneermodellen: Een Overzicht

Efficient Reasoning Models: A Survey

April 15, 2025

Auteurs: Sicheng Feng, Gongfan Fang, Xinyin Ma, Xinchao Wang

cs.AI

Samenvatting

Redeneermodellen hebben opmerkelijke vooruitgang geboekt bij het oplossen van complexe en logica-intensieve taken door uitgebreide Chain-of-Thoughts (CoTs) te genereren voordat een definitief antwoord wordt gegeven. Echter, de opkomst van dit "langzaam-denken"-paradigma, waarbij talrijke tokens sequentieel worden gegenereerd, introduceert onvermijdelijk aanzienlijke rekenkosten. Dit benadrukt de dringende behoefte aan effectieve versnelling. Dit overzicht heeft als doel een uitgebreid beeld te geven van recente ontwikkelingen op het gebied van efficiënt redeneren. Het categoriseert bestaande werken in drie belangrijke richtingen: (1) korter - het comprimeren van lange CoTs tot beknopte maar effectieve redeneerketens; (2) kleiner - het ontwikkelen van compacte taalmodelen met sterke redeneervaardigheden door technieken zoals kennisdistillatie, andere modelcompressietechnieken en reinforcement learning; en (3) sneller - het ontwerpen van efficiënte decodeerstrategieën om de inferentie te versnellen. Een geselecteerde verzameling van artikelen die in dit overzicht worden besproken, is beschikbaar in onze GitHub-repository.

English

Reasoning models have demonstrated remarkable progress in solving complex and logic-intensive tasks by generating extended Chain-of-Thoughts (CoTs) prior to arriving at a final answer. Yet, the emergence of this "slow-thinking" paradigm, with numerous tokens generated in sequence, inevitably introduces substantial computational overhead. To this end, it highlights an urgent need for effective acceleration. This survey aims to provide a comprehensive overview of recent advances in efficient reasoning. It categorizes existing works into three key directions: (1) shorter - compressing lengthy CoTs into concise yet effective reasoning chains; (2) smaller - developing compact language models with strong reasoning capabilities through techniques such as knowledge distillation, other model compression techniques, and reinforcement learning; and (3) faster - designing efficient decoding strategies to accelerate inference. A curated collection of papers discussed in this survey is available in our GitHub repository.