Ragionamento Conciso, Grandi Vantaggi: Potatura delle Tracce di Ragionamento Lunghe con Prompting Consapevole della Difficoltà

Concise Reasoning, Big Gains: Pruning Long Reasoning Trace with Difficulty-Aware Prompting

May 26, 2025

Autori: Yifan Wu, Jingze Shi, Bingheng Wu, Jiayi Zhang, Xiaotian Lin, Nan Tang, Yuyu Luo

cs.AI

Abstract

I metodi esistenti di distillazione a catena di pensiero (CoT) possono trasferire efficacemente le capacità di ragionamento ai modelli di base, ma soffrono di due principali limitazioni: l'eccessiva verbosità delle tracce di ragionamento e l'inadeguata adattabilità alla difficoltà del problema. Le lunghe tracce di ragionamento aumentano significativamente i costi di inferenza, e le soluzioni di lunghezza uniforme impediscono ai modelli di base di apprendere strategie di ragionamento adattive. Per affrontare questi problemi, proponiamo un metodo di prompting consapevole della difficoltà (DAP) per accorciare dinamicamente le tracce di ragionamento senza perdita di prestazioni. Nel nostro approccio, un grande modello insegnante valuta prima la difficoltà di ciascun problema e poi riscrive le sue tracce di ragionamento a una lunghezza appropriata più breve, producendo tracce di ragionamento concise ma complete. Sfruttando la pipeline DAP, abbiamo curato un dataset distillato chiamato LiteCoT, composto da 100K esempi di ragionamento concisi, con soluzioni che in media contengono solo 720 token (un ordine di grandezza più breve rispetto alle tipiche CoT). Utilizzando LiteCoT, abbiamo distillato una nuova famiglia di modelli di ragionamento chiamata Liter (1.5B, 7B e 32B) basata sull'architettura Qwen2.5. Gli esperimenti mostrano che un modello studente fine-tuned su soli 100K di questi campioni CoT selezionati per difficoltà supera un modello distillato su 800K campioni originali di Long CoT, riducendo significativamente i costi di addestramento e inferenza. Il nostro metodo generalizza bene: su 11 benchmark diversi, le CoT più brevi e consapevoli della difficoltà raggiungono una precisione uguale o migliore rispetto alle catene lunghe, utilizzando molti meno token. Ad esempio, sul difficile esame AIME24, il nostro approccio raggiunge il 74.2% di Pass@1 utilizzando solo circa 5K token di inferenza, superando altri metodi che consumano molti più token. Il nostro codice e i dati sono disponibili su https://github.com/Evanwu1125/LiteCoT.

English

Existing chain-of-thought (CoT) distillation methods can effectively transfer reasoning abilities to base models but suffer from two major limitations: excessive verbosity of reasoning traces and inadequate adaptability to problem difficulty. Long reasoning traces significantly increase inference costs, and uniform-length solutions prevent base models from learning adaptive reasoning strategies. To address these issues, we propose a difficulty-aware prompting (DAP) method to dynamically shorten reasoning traces without performance loss. In our approach, a large teacher model first judges each problem's difficulty and then rewrites its reasoning traces to an appropriate shorter length, yielding concise yet complete reasoning traces. Leveraging the DAP pipeline, we curate a distilled dataset called LiteCoT consisting of 100K concise reasoning examples, with solutions averaging only 720 tokens (an order of magnitude shorter than typical CoTs). Using LiteCoT, we distilled a new family of reasoning models called Liter (1.5B, 7B, and 32B) based on the Qwen2.5 architecture. Experiments show that a student model fine-tuned on just 100K of these difficulty-pruned CoT samples outperforms a model distilled on 800K original Long CoT samples, while significantly reducing training and inference costs. Our method also generalizes well: across 11 diverse benchmarks, the shorter difficulty-aware CoTs achieve equal or better accuracy than Long chains, using far fewer tokens. For example, on the challenging AIME24 exam, our approach reaches 74.2% Pass@1 using only about 5K inference tokens, surpassing other methods that consume many more tokens. Our code and data are available at https://github.com/Evanwu1125/LiteCoT.