Raciocínio Conciso, Grandes Ganhos: Podagem de Traços de Raciocínio Longos com Prompting Consciente da Dificuldade

Concise Reasoning, Big Gains: Pruning Long Reasoning Trace with Difficulty-Aware Prompting

May 26, 2025

Autores: Yifan Wu, Jingze Shi, Bingheng Wu, Jiayi Zhang, Xiaotian Lin, Nan Tang, Yuyu Luo

cs.AI

Resumo

Os métodos existentes de destilação de cadeia de pensamento (CoT) podem transferir efetivamente habilidades de raciocínio para modelos base, mas sofrem com duas grandes limitações: verbosidade excessiva dos traços de raciocínio e adaptabilidade inadequada à dificuldade do problema. Traços de raciocínio longos aumentam significativamente os custos de inferência, e soluções de comprimento uniforme impedem que os modelos base aprendam estratégias de raciocínio adaptativas. Para resolver esses problemas, propomos um método de prompting consciente da dificuldade (DAP) para encurtar dinamicamente os traços de raciocínio sem perda de desempenho. Em nossa abordagem, um grande modelo professor primeiro avalia a dificuldade de cada problema e, em seguida, reescreve seus traços de raciocínio para um comprimento mais curto e apropriado, gerando traços de raciocínio concisos, mas completos. Aproveitando o pipeline DAP, criamos um conjunto de dados destilado chamado LiteCoT, composto por 100K exemplos de raciocínio concisos, com soluções que têm em média apenas 720 tokens (uma ordem de magnitude menor do que os CoTs típicos). Usando o LiteCoT, destilamos uma nova família de modelos de raciocínio chamada Liter (1.5B, 7B e 32B) baseada na arquitetura Qwen2.5. Experimentos mostram que um modelo estudante ajustado com apenas 100K dessas amostras de CoT podadas por dificuldade supera um modelo destilado em 800K amostras originais de Long CoT, enquanto reduz significativamente os custos de treinamento e inferência. Nosso método também generaliza bem: em 11 benchmarks diversos, os CoTs mais curtos e conscientes da dificuldade alcançam precisão igual ou melhor do que as cadeias longas, usando muito menos tokens. Por exemplo, no desafiador exame AIME24, nossa abordagem atinge 74,2% de Pass@1 usando apenas cerca de 5K tokens de inferência, superando outros métodos que consomem muito mais tokens. Nosso código e dados estão disponíveis em https://github.com/Evanwu1125/LiteCoT.

English

Existing chain-of-thought (CoT) distillation methods can effectively transfer reasoning abilities to base models but suffer from two major limitations: excessive verbosity of reasoning traces and inadequate adaptability to problem difficulty. Long reasoning traces significantly increase inference costs, and uniform-length solutions prevent base models from learning adaptive reasoning strategies. To address these issues, we propose a difficulty-aware prompting (DAP) method to dynamically shorten reasoning traces without performance loss. In our approach, a large teacher model first judges each problem's difficulty and then rewrites its reasoning traces to an appropriate shorter length, yielding concise yet complete reasoning traces. Leveraging the DAP pipeline, we curate a distilled dataset called LiteCoT consisting of 100K concise reasoning examples, with solutions averaging only 720 tokens (an order of magnitude shorter than typical CoTs). Using LiteCoT, we distilled a new family of reasoning models called Liter (1.5B, 7B, and 32B) based on the Qwen2.5 architecture. Experiments show that a student model fine-tuned on just 100K of these difficulty-pruned CoT samples outperforms a model distilled on 800K original Long CoT samples, while significantly reducing training and inference costs. Our method also generalizes well: across 11 diverse benchmarks, the shorter difficulty-aware CoTs achieve equal or better accuracy than Long chains, using far fewer tokens. For example, on the challenging AIME24 exam, our approach reaches 74.2% Pass@1 using only about 5K inference tokens, surpassing other methods that consume many more tokens. Our code and data are available at https://github.com/Evanwu1125/LiteCoT.