学生の嗜好に合わせた教師モデルによるカスタマイズされたトレーニングデータ生成

Aligning Teacher with Student Preferences for Tailored Training Data Generation

June 27, 2024

著者: Yantao Liu, Zhao Zhang, Zijun Yao, Shulin Cao, Lei Hou, Juanzi Li

cs.AI

要旨

大規模言語モデル（LLM）は、様々なタスクにおけるコパイロットとして大きな可能性を示しています。プライバシーに敏感なデータやレイテンシに敏感なタスクを扱う場合、エッジデバイス上でのLLMのローカルデプロイメントが必要となります。しかし、こうしたデバイスの計算リソースの制約により、大規模なLLMを直接デプロイすることは現実的ではなく、大規模モデルから軽量モデルへの知識蒸留が必要となります。これまで、LLMから多様性と品質の高いトレーニング例を引き出すための研究は多く行われてきましたが、教育学における「レスポンシブ・ティーチング」のように、学生の好みに基づいて教師の指導内容を調整することにはほとんど注目が集まっていませんでした。そこで我々は、ARTE（Aligning TeacheR with StudenT PreferencEs）というフレームワークを提案します。これは、教師モデルを学生の好みに合わせて調整し、知識蒸留のためのカスタマイズされたトレーニング例を生成するものです。具体的には、教師モデルから草案となる質問とその論理を引き出し、それらの質問と論理に対する学生の好みを、インコンテキスト学習における学生のパフォーマンスを代理として収集し、最後に教師モデルを学生の好みに合わせて調整します。最終的には、調整された教師モデルを用いて最初のステップを繰り返し、ターゲットタスクにおける学生モデルのためのカスタマイズされたトレーニング例を引き出します。学術的なベンチマークでの大規模な実験により、ARTEが強力なLLMから蒸留された既存の指示チューニングデータセットを凌駕することを実証しました。さらに、ARTEの汎化能力について徹底的に調査し、ファインチューニングされた学生モデルの推論能力の汎化、および調整された教師モデルがタスクや学生を跨いでカスタマイズされたトレーニングデータを生成する能力の汎化を検証しました。要約すると、我々の貢献は、カスタマイズされたトレーニング例生成のための新しいフレームワークを提案し、その有効性を実験で実証し、ARTEにおける学生モデルと調整された教師モデルの両方の汎化能力を調査した点にあります。

English

Large Language Models (LLMs) have shown significant promise as copilots in various tasks. Local deployment of LLMs on edge devices is necessary when handling privacy-sensitive data or latency-sensitive tasks. The computational constraints of such devices make direct deployment of powerful large-scale LLMs impractical, necessitating the Knowledge Distillation from large-scale models to lightweight models. Lots of work has been done to elicit diversity and quality training examples from LLMs, but little attention has been paid to aligning teacher instructional content based on student preferences, akin to "responsive teaching" in pedagogy. Thus, we propose ARTE, dubbed Aligning TeacheR with StudenT PreferencEs, a framework that aligns the teacher model with student preferences to generate tailored training examples for Knowledge Distillation. Specifically, we elicit draft questions and rationales from the teacher model, then collect student preferences on these questions and rationales using students' performance with in-context learning as a proxy, and finally align the teacher model with student preferences. In the end, we repeat the first step with the aligned teacher model to elicit tailored training examples for the student model on the target task. Extensive experiments on academic benchmarks demonstrate the superiority of ARTE over existing instruction-tuning datasets distilled from powerful LLMs. Moreover, we thoroughly investigate the generalization of ARTE, including the generalization of fine-tuned student models in reasoning ability and the generalization of aligned teacher models to generate tailored training data across tasks and students. In summary, our contributions lie in proposing a novel framework for tailored training example generation, demonstrating its efficacy in experiments, and investigating the generalization of both student & aligned teacher models in ARTE.