Condor: 知識駆動データ合成と洗練によるLLMアライメントの強化

Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement

January 21, 2025

著者: Maosong Cao, Taolin Zhang, Mo Li, Chuyu Zhang, Yunxin Liu, Haodong Duan, Songyang Zhang, Kai Chen

cs.AI

要旨

監督されたファインチューニング（SFT）データの品質は、大規模言語モデル（LLM）の会話能力を向上させる上で重要な役割を果たします。しかし、LLMがより高度になるにつれて、高品質な人手によるアノテーションされたSFTデータの入手可能性が著しく制約されるようになり、合成トレーニングデータへの依存がますます必要とされています。本研究では、World Knowledge TreeとSelf-Reflection Refinementを組み込んだ新しい二段階合成データ生成フレームワークであるCondorを紹介し、規模の大きな高品質なSFTデータを生成します。実験結果は、Condorで生成された20Kのサンプルのみでファインチューニングされたベースモデルが、他のモデルと比較して優れたパフォーマンスを達成することを示しています。Condorの追加のリファインメント段階は、LLMのさまざまなスケール（最大72B）で反復的な自己改善を可能にし、アプローチの有効性を実証しています。さらに、後段の合成データに対するスケーリングの調査では、パフォーマンス向上の未開拓の可能性が明らかになり、将来の研究に向けた有望な道筋を開いています。

English

The quality of Supervised Fine-Tuning (SFT) data plays a critical role in enhancing the conversational capabilities of Large Language Models (LLMs). However, as LLMs become more advanced, the availability of high-quality human-annotated SFT data has become a significant bottleneck, necessitating a greater reliance on synthetic training data. In this work, we introduce Condor, a novel two-stage synthetic data generation framework that incorporates World Knowledge Tree and Self-Reflection Refinement to produce high-quality SFT data at scale. Our experimental results demonstrate that a base model fine-tuned on only 20K Condor-generated samples achieves superior performance compared to counterparts. The additional refinement stage in Condor further enables iterative self-improvement for LLMs at various scales (up to 72B), validating the effectiveness of our approach. Furthermore, our investigation into the scaling for synthetic data in post-training reveals substantial unexplored potential for performance improvements, opening promising avenues for future research.