TL;DR: 너무 길다, 효율적인 LLM 추론 압축을 위한 재가중 수행

초록

대형 언어 모델(LLMs)은 최근 강화 학습과 확장된 사고 연쇄(Chain-of-Thought, CoT) 기법을 활용하여 놀라운 진전을 이루었습니다. 그러나 특히 매우 긴 출력을 생성하는 추론 과정에서 효율적인 언어 추론을 수행하는 문제는 연구 커뮤니티로부터 점점 더 많은 관심을 받고 있습니다. 본 연구에서는 정교한 데이터 주석이나 다중 모델 간의 보간에 의존하지 않는 동적 비율 기반 훈련 파이프라인을 제안합니다. 우리는 모델의 System-1과 System-2 데이터 간의 가중치를 지속적으로 조정하여 불필요한 추론 과정을 제거하면서도 모델의 추론 능력을 유지합니다. 이 접근법을 DeepSeek-R1-Distill-7B와 DeepSeek-R1-Distill-14B 모델 및 다양한 난이도의 벤치마크 세트에서 검증하였습니다. 우리의 방법은 추론의 정확도를 유지하면서 출력 토큰 수를 약 40%까지 크게 줄였습니다. 코드와 데이터는 곧 공개될 예정입니다.

English

Large Language Models (LLMs) have recently achieved remarkable progress by leveraging Reinforcement Learning and extended Chain-of-Thought (CoT) techniques. However, the challenge of performing efficient language reasoning--especially during inference with extremely long outputs--has drawn increasing attention from the research community. In this work, we propose a dynamic ratio-based training pipeline that does not rely on sophisticated data annotations or interpolation between multiple models. We continuously balance the weights between the model's System-1 and System-2 data to eliminate redundant reasoning processes while preserving the model's reasoning capability. We validate our approach across models on DeepSeek-R1-Distill-7B and DeepSeek-R1-Distill-14B and on a diverse set of benchmarks with varying difficulty levels. Our method significantly reduces the number of output tokens by nearly 40% while maintaining the accuracy of the reasoning. Our code and data will be available soon.

TL;DR: 너무 길다, 효율적인 LLM 추론 압축을 위한 재가중 수행

TL;DR: Too Long, Do Re-weighting for Effcient LLM Reasoning Compression

초록

Support