Condor: Migliorare l'Allineamento LLM con la Sintesi Dati Guidata dalla Conoscenza e il Raffinamento

Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement

January 21, 2025

Autori: Maosong Cao, Taolin Zhang, Mo Li, Chuyu Zhang, Yunxin Liu, Haodong Duan, Songyang Zhang, Kai Chen

cs.AI

Abstract

La qualità dei dati di Supervised Fine-Tuning (SFT) svolge un ruolo critico nel migliorare le capacità conversazionali dei Large Language Models (LLM). Tuttavia, man mano che i LLM diventano più avanzati, la disponibilità di dati SFT di alta qualità annotati da esseri umani è diventata un significativo collo di bottiglia, rendendo necessaria una maggiore dipendenza dai dati di addestramento sintetici. In questo lavoro, presentiamo Condor, un nuovo framework di generazione di dati sintetici a due fasi che incorpora World Knowledge Tree e Self-Reflection Refinement per produrre dati SFT di alta qualità su larga scala. I nostri risultati sperimentali dimostrano che un modello di base sintonizzato su soli 20K campioni generati da Condor raggiunge prestazioni superiori rispetto ai suoi equivalenti. La fase di raffinamento aggiuntiva in Condor consente inoltre un auto-miglioramento iterativo per i LLM a varie scale (fino a 72B), convalidando l'efficacia del nostro approccio. Inoltre, la nostra indagine sullo scaling per i dati sintetici nel post-addestramento rivela un notevole potenziale inesplorato per miglioramenti delle prestazioni, aprendo promettenti vie per futuri studi.

English

The quality of Supervised Fine-Tuning (SFT) data plays a critical role in enhancing the conversational capabilities of Large Language Models (LLMs). However, as LLMs become more advanced, the availability of high-quality human-annotated SFT data has become a significant bottleneck, necessitating a greater reliance on synthetic training data. In this work, we introduce Condor, a novel two-stage synthetic data generation framework that incorporates World Knowledge Tree and Self-Reflection Refinement to produce high-quality SFT data at scale. Our experimental results demonstrate that a base model fine-tuned on only 20K Condor-generated samples achieves superior performance compared to counterparts. The additional refinement stage in Condor further enables iterative self-improvement for LLMs at various scales (up to 72B), validating the effectiveness of our approach. Furthermore, our investigation into the scaling for synthetic data in post-training reveals substantial unexplored potential for performance improvements, opening promising avenues for future research.