Präzises Denken, große Gewinne: Kürzen langer Denkpfade mit schwierigkeitsbewusster Promptgestaltung

Concise Reasoning, Big Gains: Pruning Long Reasoning Trace with Difficulty-Aware Prompting

May 26, 2025

Autoren: Yifan Wu, Jingze Shi, Bingheng Wu, Jiayi Zhang, Xiaotian Lin, Nan Tang, Yuyu Luo

cs.AI

Zusammenfassung

Bestehende Chain-of-Thought (CoT)-Destillationsmethoden können die Fähigkeiten zur logischen Schlussfolgerung effektiv auf Basismodelle übertragen, leiden jedoch unter zwei wesentlichen Einschränkungen: übermäßige Ausführlichkeit der Argumentationspfade und unzureichende Anpassungsfähigkeit an den Schwierigkeitsgrad der Probleme. Lange Argumentationspfade erhöhen die Inferenzkosten erheblich, und gleich lange Lösungen verhindern, dass Basismodelle adaptive Argumentationsstrategien erlernen. Um diese Probleme zu lösen, schlagen wir eine schwierigkeitsabhängige Prompting-Methode (Difficulty-Aware Prompting, DAP) vor, um Argumentationspfade dynamisch zu verkürzen, ohne dabei die Leistung zu beeinträchtigen. In unserem Ansatz bewertet zunächst ein großes Lehrermodell den Schwierigkeitsgrad jedes Problems und formuliert dann seine Argumentationspfade auf eine angemessene kürzere Länge um, wodurch prägnante, aber vollständige Argumentationspfade entstehen. Mithilfe der DAP-Pipeline haben wir einen destillierten Datensatz namens LiteCoT erstellt, der aus 100.000 prägnanten Argumentationsbeispielen besteht, wobei die Lösungen durchschnittlich nur 720 Tokens umfassen (eine Größenordnung kürzer als typische CoTs). Mit LiteCoT haben wir eine neue Familie von Argumentationsmodellen namens Liter (1,5B, 7B und 32B) auf Basis der Qwen2.5-Architektur destilliert. Experimente zeigen, dass ein Schülermodell, das mit nur 100.000 dieser schwierigkeitsgeprüften CoT-Beispiele feinabgestimmt wurde, ein Modell übertrifft, das mit 800.000 ursprünglichen Long CoT-Beispielen destilliert wurde, während gleichzeitig die Trainings- und Inferenzkosten erheblich reduziert werden. Unsere Methode generalisiert ebenfalls gut: Über 11 verschiedene Benchmarks hinweg erreichen die kürzeren, schwierigkeitsabhängigen CoTs eine gleichwertige oder bessere Genauigkeit als lange Ketten, wobei weitaus weniger Tokens verwendet werden. Beispielsweise erreicht unser Ansatz bei der anspruchsvollen AIME24-Prüfung 74,2 % Pass@1 mit nur etwa 5.000 Inferenz-Tokens und übertrifft damit andere Methoden, die deutlich mehr Tokens verbrauchen. Unser Code und unsere Daten sind unter https://github.com/Evanwu1125/LiteCoT verfügbar.

English

Existing chain-of-thought (CoT) distillation methods can effectively transfer reasoning abilities to base models but suffer from two major limitations: excessive verbosity of reasoning traces and inadequate adaptability to problem difficulty. Long reasoning traces significantly increase inference costs, and uniform-length solutions prevent base models from learning adaptive reasoning strategies. To address these issues, we propose a difficulty-aware prompting (DAP) method to dynamically shorten reasoning traces without performance loss. In our approach, a large teacher model first judges each problem's difficulty and then rewrites its reasoning traces to an appropriate shorter length, yielding concise yet complete reasoning traces. Leveraging the DAP pipeline, we curate a distilled dataset called LiteCoT consisting of 100K concise reasoning examples, with solutions averaging only 720 tokens (an order of magnitude shorter than typical CoTs). Using LiteCoT, we distilled a new family of reasoning models called Liter (1.5B, 7B, and 32B) based on the Qwen2.5 architecture. Experiments show that a student model fine-tuned on just 100K of these difficulty-pruned CoT samples outperforms a model distilled on 800K original Long CoT samples, while significantly reducing training and inference costs. Our method also generalizes well: across 11 diverse benchmarks, the shorter difficulty-aware CoTs achieve equal or better accuracy than Long chains, using far fewer tokens. For example, on the challenging AIME24 exam, our approach reaches 74.2% Pass@1 using only about 5K inference tokens, surpassing other methods that consume many more tokens. Our code and data are available at https://github.com/Evanwu1125/LiteCoT.