Replanteando la Generación de Datos CoT de Alta Calidad desde la Perspectiva de la Graduación Adaptativa de la Dificultad de Preguntas para LLM

Rethinking the Generation of High-Quality CoT Data from the Perspective of LLM-Adaptive Question Difficulty Grading

April 16, 2025

Autores: Qianjin Yu, Keyu Wu, Zihan Chen, Chushu Zhang, Manlin Mei, Lingjun Huang, Fang Tan, Yongsheng Du, Kunlin Liu, Yurui Zhu

cs.AI

Resumen

Recientemente, DeepSeek-R1 (671B) (DeepSeek-AI et al., 2025) ha demostrado su excelente capacidad de razonamiento en tareas complejas y ha compartido públicamente su metodología. Esto proporciona datos de cadena de pensamiento (CoT) de potencialmente alta calidad para estimular las habilidades de razonamiento de modelos de lenguaje grandes (LLMs) de tamaño reducido. Para generar datos CoT de alta calidad para diferentes LLMs, buscamos un método eficiente para generar datos CoT de alta calidad con niveles de dificultad de preguntas adaptados al LLM. Primero, clasificamos la dificultad de las preguntas según la capacidad de razonamiento de los propios LLMs y construimos una base de datos de preguntas adaptadas al LLM. Segundo, muestreamos la base de problemas basándonos en una distribución de niveles de dificultad de las preguntas y luego utilizamos DeepSeek-R1 (671B) (DeepSeek-AI et al., 2025) para generar los correspondientes datos CoT de alta calidad con respuestas correctas. Gracias a la construcción de datos CoT con niveles de dificultad adaptados al LLM, hemos reducido significativamente el costo de generación de datos y mejorado la eficiencia del ajuste fino supervisado (SFT) del modelo. Finalmente, hemos validado la efectividad y generalización del método propuesto en los campos de competiciones matemáticas complejas y tareas de generación de código. Cabe destacar que, con solo 2k datos CoT matemáticos de alta calidad, nuestro ZMath-32B supera a DeepSeek-Distill-32B en tareas de razonamiento matemático. De manera similar, con solo 2k datos CoT de código de alta calidad, nuestro ZCode-32B supera a DeepSeek-Distill-32B en tareas de razonamiento de código.

English

Recently, DeepSeek-R1 (671B) (DeepSeek-AIet al., 2025) has demonstrated its excellent reasoning ability in complex tasks and has publiclyshared its methodology. This provides potentially high-quality chain-of-thought (CoT) data for stimulating the reasoning abilities of small-sized large language models (LLMs). To generate high-quality CoT data for different LLMs, we seek an efficient method for generating high-quality CoT data with LLM-Adaptive questiondifficulty levels. First, we grade the difficulty of the questions according to the reasoning ability of the LLMs themselves and construct a LLM-Adaptive question database. Second, we sample the problem database based on a distribution of difficulty levels of the questions and then use DeepSeek-R1 (671B) (DeepSeek-AI et al., 2025) to generate the corresponding high-quality CoT data with correct answers. Thanks to the construction of CoT data with LLM-Adaptive difficulty levels, we have significantly reduced the cost of data generation and enhanced the efficiency of model supervised fine-tuning (SFT). Finally, we have validated the effectiveness and generalizability of the proposed method in the fields of complex mathematical competitions and code generation tasks. Notably, with only 2k high-quality mathematical CoT data, our ZMath-32B surpasses DeepSeek-Distill-32B in math reasoning task. Similarly, with only 2k high-quality code CoT data, our ZCode-32B surpasses DeepSeek-Distill-32B in code reasoning tasks.