Razonamiento Conciso, Grandes Beneficios: Poda de Trazas de Razonamiento Largo con Indicaciones Conscientes de la Dificultad

Concise Reasoning, Big Gains: Pruning Long Reasoning Trace with Difficulty-Aware Prompting

May 26, 2025

Autores: Yifan Wu, Jingze Shi, Bingheng Wu, Jiayi Zhang, Xiaotian Lin, Nan Tang, Yuyu Luo

cs.AI

Resumen

Los métodos existentes de destilación de cadena de pensamiento (CoT, por sus siglas en inglés) pueden transferir eficazmente habilidades de razonamiento a modelos base, pero presentan dos limitaciones principales: la excesiva verbosidad de las trazas de razonamiento y la insuficiente adaptabilidad a la dificultad del problema. Las trazas de razonamiento largas aumentan significativamente los costos de inferencia, y las soluciones de longitud uniforme impiden que los modelos base aprendan estrategias de razonamiento adaptativas. Para abordar estos problemas, proponemos un método de indicación consciente de la dificultad (DAP, por sus siglas en inglés) que acorta dinámicamente las trazas de razonamiento sin pérdida de rendimiento. En nuestro enfoque, un modelo maestro grande primero juzga la dificultad de cada problema y luego reescribe sus trazas de razonamiento a una longitud más corta y apropiada, produciendo trazas de razonamiento concisas pero completas. Aprovechando la tubería DAP, hemos creado un conjunto de datos destilado llamado LiteCoT, que consta de 100K ejemplos de razonamiento concisos, con soluciones que promedian solo 720 tokens (un orden de magnitud más cortas que las CoT típicas). Utilizando LiteCoT, hemos destilado una nueva familia de modelos de razonamiento llamada Liter (1.5B, 7B y 32B) basada en la arquitectura Qwen2.5. Los experimentos muestran que un modelo estudiante ajustado con solo 100K de estas muestras CoT podadas por dificultad supera a un modelo destilado con 800K muestras originales de CoT largas, mientras reduce significativamente los costos de entrenamiento e inferencia. Nuestro método también generaliza bien: en 11 puntos de referencia diversos, las CoT más cortas conscientes de la dificultad logran una precisión igual o mejor que las cadenas largas, utilizando muchos menos tokens. Por ejemplo, en el desafiante examen AIME24, nuestro enfoque alcanza un 74.2% de Pass@1 utilizando solo alrededor de 5K tokens de inferencia, superando a otros métodos que consumen muchos más tokens. Nuestro código y datos están disponibles en https://github.com/Evanwu1125/LiteCoT.

English

Existing chain-of-thought (CoT) distillation methods can effectively transfer reasoning abilities to base models but suffer from two major limitations: excessive verbosity of reasoning traces and inadequate adaptability to problem difficulty. Long reasoning traces significantly increase inference costs, and uniform-length solutions prevent base models from learning adaptive reasoning strategies. To address these issues, we propose a difficulty-aware prompting (DAP) method to dynamically shorten reasoning traces without performance loss. In our approach, a large teacher model first judges each problem's difficulty and then rewrites its reasoning traces to an appropriate shorter length, yielding concise yet complete reasoning traces. Leveraging the DAP pipeline, we curate a distilled dataset called LiteCoT consisting of 100K concise reasoning examples, with solutions averaging only 720 tokens (an order of magnitude shorter than typical CoTs). Using LiteCoT, we distilled a new family of reasoning models called Liter (1.5B, 7B, and 32B) based on the Qwen2.5 architecture. Experiments show that a student model fine-tuned on just 100K of these difficulty-pruned CoT samples outperforms a model distilled on 800K original Long CoT samples, while significantly reducing training and inference costs. Our method also generalizes well: across 11 diverse benchmarks, the shorter difficulty-aware CoTs achieve equal or better accuracy than Long chains, using far fewer tokens. For example, on the challenging AIME24 exam, our approach reaches 74.2% Pass@1 using only about 5K inference tokens, surpassing other methods that consume many more tokens. Our code and data are available at https://github.com/Evanwu1125/LiteCoT.