Condor: Mejora del Alineamiento LLM con Síntesis de Datos Impulsada por el Conocimiento y Refinamiento

Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement

January 21, 2025

Autores: Maosong Cao, Taolin Zhang, Mo Li, Chuyu Zhang, Yunxin Liu, Haodong Duan, Songyang Zhang, Kai Chen

cs.AI

Resumen

La calidad de los datos de Ajuste Fino Supervisado (SFT) juega un papel crítico en mejorar las capacidades conversacionales de los Modelos de Lenguaje Grandes (LLMs). Sin embargo, a medida que los LLMs se vuelven más avanzados, la disponibilidad de datos de SFT de alta calidad anotados por humanos se ha convertido en un cuello de botella significativo, lo que requiere una mayor dependencia de datos de entrenamiento sintéticos. En este trabajo, presentamos Condor, un novedoso marco de generación de datos sintéticos de dos etapas que incorpora el Árbol de Conocimiento Mundial y la Refinación de Autorreflexión para producir datos de SFT de alta calidad a escala. Nuestros resultados experimentales demuestran que un modelo base ajustado fino solo con 20K muestras generadas por Condor logra un rendimiento superior en comparación con contrapartes. La etapa adicional de refinamiento en Condor además permite la auto-mejora iterativa para LLMs en varias escalas (hasta 72B), validando la efectividad de nuestro enfoque. Además, nuestra investigación sobre la escalabilidad para datos sintéticos en post-entrenamiento revela un potencial sustancial no explorado para mejoras de rendimiento, abriendo prometedores caminos para futuras investigaciones.

English

The quality of Supervised Fine-Tuning (SFT) data plays a critical role in enhancing the conversational capabilities of Large Language Models (LLMs). However, as LLMs become more advanced, the availability of high-quality human-annotated SFT data has become a significant bottleneck, necessitating a greater reliance on synthetic training data. In this work, we introduce Condor, a novel two-stage synthetic data generation framework that incorporates World Knowledge Tree and Self-Reflection Refinement to produce high-quality SFT data at scale. Our experimental results demonstrate that a base model fine-tuned on only 20K Condor-generated samples achieves superior performance compared to counterparts. The additional refinement stage in Condor further enables iterative self-improvement for LLMs at various scales (up to 72B), validating the effectiveness of our approach. Furthermore, our investigation into the scaling for synthetic data in post-training reveals substantial unexplored potential for performance improvements, opening promising avenues for future research.