Eine Übersicht über effizientes Schließen bei großen Schließmodellen: Sprache, Multimodalität und darüber hinaus

A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond

March 27, 2025

Autoren: Xiaoye Qu, Yafu Li, Zhaochen Su, Weigao Sun, Jianhao Yan, Dongrui Liu, Ganqu Cui, Daizong Liu, Shuxian Liang, Junxian He, Peng Li, Wei Wei, Jing Shao, Chaochao Lu, Yue Zhang, Xian-Sheng Hua, Bowen Zhou, Yu Cheng

cs.AI

Zusammenfassung

Kürzlich entwickelte Large Reasoning Models (LRMs) wie DeepSeek-R1 und OpenAI o1 haben durch die Skalierung der Länge von Chain-of-Thought (CoT)-Schlussfolgerungen während der Inferenz deutliche Leistungssteigerungen gezeigt. Es besteht jedoch zunehmend die Sorge, dass sie übermäßig lange Begründungsspuren erzeugen, die oft mit redundanten Inhalten (z. B. wiederholten Definitionen), übermäßiger Analyse einfacher Probleme und oberflächlicher Exploration mehrerer Begründungspfade für komplexere Aufgaben gefüllt sind. Diese Ineffizienz stellt erhebliche Herausforderungen für das Training, die Inferenz und den realen Einsatz (z. B. in agentenbasierten Systemen) dar, wo die Token-Ökonomie von entscheidender Bedeutung ist. In dieser Übersichtsarbeit bieten wir einen umfassenden Überblick über aktuelle Bemühungen zur Verbesserung der Effizienz von Schlussfolgerungen in LRMs, mit einem besonderen Fokus auf die einzigartigen Herausforderungen, die in diesem neuen Paradigma auftreten. Wir identifizieren gängige Muster der Ineffizienz, untersuchen Methoden, die über den gesamten LRM-Lebenszyklus hinweg vorgeschlagen wurden, d. h. vom Pretraining bis zur Inferenz, und diskutieren vielversprechende zukünftige Forschungsrichtungen. Um die laufende Entwicklung zu unterstützen, pflegen wir auch ein Echtzeit-GitHub-Repository, das den aktuellen Fortschritt auf diesem Gebiet verfolgt. Wir hoffen, dass diese Übersichtsarbeit als Grundlage für weitere Erkundungen dient und Innovationen in diesem sich schnell entwickelnden Bereich inspiriert.

English

Recent Large Reasoning Models (LRMs), such as DeepSeek-R1 and OpenAI o1, have demonstrated strong performance gains by scaling up the length of Chain-of-Thought (CoT) reasoning during inference. However, a growing concern lies in their tendency to produce excessively long reasoning traces, which are often filled with redundant content (e.g., repeated definitions), over-analysis of simple problems, and superficial exploration of multiple reasoning paths for harder tasks. This inefficiency introduces significant challenges for training, inference, and real-world deployment (e.g., in agent-based systems), where token economy is critical. In this survey, we provide a comprehensive overview of recent efforts aimed at improving reasoning efficiency in LRMs, with a particular focus on the unique challenges that arise in this new paradigm. We identify common patterns of inefficiency, examine methods proposed across the LRM lifecycle, i.e., from pretraining to inference, and discuss promising future directions for research. To support ongoing development, we also maintain a real-time GitHub repository tracking recent progress in the field. We hope this survey serves as a foundation for further exploration and inspires innovation in this rapidly evolving area.