命令と推論データがポストトレーニングに与える影響：層ごとの勾配を通じたデータ品質の考察

How Instruction and Reasoning Data shape Post-Training: Data Quality through the Lens of Layer-wise Gradients

April 14, 2025

著者: Ming Li, Yanhong Li, Ziyue Li, Tianyi Zhou

cs.AI

要旨

大規模言語モデル（LLM）のポストトレーニングが指示追従から複雑な推論タスクへと進化するにつれ、異なるデータがファインチューニングのダイナミクスにどのように影響するかを理解することは、依然としてほとんど未開拓の領域です。本論文では、低品質/高品質の指示データおよび推論データによって誘発される層ごとの勾配のスペクトル分析を提示します。私たちの分析は、データ評価のために広く研究されている指標（例：IFD、InsTag、Difficulty、Reward）が、勾配の特異値分解（SVD）から計算されるスペクトル特性によって説明され、統合されることを明らかにします。具体的には、高品質なデータは通常、低い核ノルムと高い有効ランクと関連しています。特に、有効ランクは、微妙な品質の違いを捉える上で核ノルムよりも優れたロバスト性と分解能を示します。例えば、推論データは指示データよりも大幅に高い有効ランクを達成し、より複雑なタスクにおいて豊かな勾配構造を暗示しています。私たちの実験はまた、同じファミリー内のモデルはそのサイズに関わらず類似した勾配パターンを共有する一方で、異なるモデルファミリー間では大きく異なることを強調しています。指示データと推論データにわたるデータ品質の影響を統一的に捉えることで、本研究はデータ品質とトレーニングの安定性の相互作用を明らかにし、ポストトレーニングのためのより優れたデータ探索戦略の開発に新たな洞察を提供します。

English

As the post-training of large language models (LLMs) advances from instruction-following to complex reasoning tasks, understanding how different data affect finetuning dynamics remains largely unexplored. In this paper, we present a spectral analysis of layer-wise gradients induced by low/high-quality instruction and reasoning data for LLM post-training. Our analysis reveals that widely-studied metrics for data evaluation, e.g., IFD, InsTag, Difficulty, and Reward, can be explained and unified by spectral properties computed from gradients' singular value decomposition (SVD). Specifically, higher-quality data are usually associated with lower nuclear norms and higher effective ranks. Notably, effective rank exhibits better robustness and resolution than nuclear norm in capturing subtle quality differences. For example, reasoning data achieves substantially higher effective ranks than instruction data, implying richer gradient structures on more complex tasks. Our experiments also highlight that models within the same family share similar gradient patterns regardless of their sizes, whereas different model families diverge significantly. Providing a unified view on the effects of data quality across instruction and reasoning data, this work illuminates the interplay between data quality and training stability, shedding novel insights into developing better data exploration strategies for post-training.