Краткие рассуждения, большие выгоды: сокращение длинных цепочек рассуждений с помощью сложно-ориентированных подсказок

Concise Reasoning, Big Gains: Pruning Long Reasoning Trace with Difficulty-Aware Prompting

May 26, 2025

Авторы: Yifan Wu, Jingze Shi, Bingheng Wu, Jiayi Zhang, Xiaotian Lin, Nan Tang, Yuyu Luo

cs.AI

Аннотация

Существующие методы дистилляции цепочки рассуждений (CoT) эффективно передают способности к рассуждению базовым моделям, но страдают от двух основных ограничений: чрезмерной многословности трассировок рассуждений и недостаточной адаптивности к сложности задачи. Длинные трассировки рассуждений значительно увеличивают затраты на вывод, а решения фиксированной длины не позволяют базовым моделям обучаться адаптивным стратегиям рассуждения. Для решения этих проблем мы предлагаем метод динамического сокращения трассировок рассуждений без потери производительности, основанный на осведомленности о сложности задачи (DAP). В нашем подходе большая учительская модель сначала оценивает сложность каждой задачи, а затем переписывает свои трассировки рассуждений до подходящей более короткой длины, создавая лаконичные, но полные трассировки. Используя конвейер DAP, мы создали дистиллированный набор данных под названием LiteCoT, состоящий из 100 тысяч лаконичных примеров рассуждений, где решения в среднем содержат всего 720 токенов (на порядок короче типичных CoT). На основе LiteCoT мы дистиллировали новое семейство моделей рассуждений под названием Liter (1.5B, 7B и 32B), основанных на архитектуре Qwen2.5. Эксперименты показывают, что студенческая модель, дообученная всего на 100 тысячах этих адаптированных по сложности CoT-примеров, превосходит модель, дистиллированную на 800 тысячах оригинальных длинных CoT-примеров, при этом значительно снижая затраты на обучение и вывод. Наш метод также хорошо обобщается: на 11 различных бенчмарках более короткие CoT, адаптированные по сложности, достигают равной или лучшей точности по сравнению с длинными цепочками, используя гораздо меньше токенов. Например, на сложном экзамене AIME24 наш подход достигает 74.2% Pass@1, используя всего около 5 тысяч токенов для вывода, превосходя другие методы, которые потребляют значительно больше токенов. Наш код и данные доступны по адресу https://github.com/Evanwu1125/LiteCoT.

English

Existing chain-of-thought (CoT) distillation methods can effectively transfer reasoning abilities to base models but suffer from two major limitations: excessive verbosity of reasoning traces and inadequate adaptability to problem difficulty. Long reasoning traces significantly increase inference costs, and uniform-length solutions prevent base models from learning adaptive reasoning strategies. To address these issues, we propose a difficulty-aware prompting (DAP) method to dynamically shorten reasoning traces without performance loss. In our approach, a large teacher model first judges each problem's difficulty and then rewrites its reasoning traces to an appropriate shorter length, yielding concise yet complete reasoning traces. Leveraging the DAP pipeline, we curate a distilled dataset called LiteCoT consisting of 100K concise reasoning examples, with solutions averaging only 720 tokens (an order of magnitude shorter than typical CoTs). Using LiteCoT, we distilled a new family of reasoning models called Liter (1.5B, 7B, and 32B) based on the Qwen2.5 architecture. Experiments show that a student model fine-tuned on just 100K of these difficulty-pruned CoT samples outperforms a model distilled on 800K original Long CoT samples, while significantly reducing training and inference costs. Our method also generalizes well: across 11 diverse benchmarks, the shorter difficulty-aware CoTs achieve equal or better accuracy than Long chains, using far fewer tokens. For example, on the challenging AIME24 exam, our approach reaches 74.2% Pass@1 using only about 5K inference tokens, surpassing other methods that consume many more tokens. Our code and data are available at https://github.com/Evanwu1125/LiteCoT.