학생 선호도에 맞춘 맞춤형 학습 데이터 생성을 위한 교사 모델 정렬

Aligning Teacher with Student Preferences for Tailored Training Data Generation

June 27, 2024

저자: Yantao Liu, Zhao Zhang, Zijun Yao, Shulin Cao, Lei Hou, Juanzi Li

cs.AI

초록

대규모 언어 모델(LLMs)은 다양한 작업에서 코파일럿으로서 상당한 가능성을 보여주고 있습니다. 개인정보 보호가 중요한 데이터나 지연 시간에 민감한 작업을 처리할 때는 에지 디바이스에 LLMs를 로컬로 배포하는 것이 필요합니다. 이러한 디바이스의 계산적 제약으로 인해 강력한 대규모 LLMs를 직접 배포하는 것은 실용적이지 않으며, 이로 인해 대규모 모델에서 경량 모델로의 지식 증류(Knowledge Distillation)가 필요합니다. LLMs로부터 다양하고 질 높은 훈련 예제를 도출하기 위해 많은 연구가 진행되었지만, 학생의 선호도에 기반하여 교사의 교육 내용을 맞추는 것, 즉 교육학에서의 "반응형 교수법(responsive teaching)"과 유사한 접근에는 거의 주목받지 못했습니다. 따라서 우리는 ARTE(Aligning TeacheR with StudenT PreferencEs)라는 프레임워크를 제안합니다. 이 프레임워크는 교사 모델을 학생의 선호도에 맞추어 지식 증류를 위한 맞춤형 훈련 예제를 생성합니다. 구체적으로, 교사 모델로부터 초안 질문과 논리를 도출한 후, 학생의 성과를 대리 지표로 사용하여 이러한 질문과 논리에 대한 학생의 선호도를 수집하고, 마지막으로 교사 모델을 학생의 선호도에 맞춥니다. 최종적으로, 맞춤화된 교사 모델을 사용하여 첫 번째 단계를 반복하여 목표 작업에 대한 학생 모델을 위한 맞춤형 훈련 예제를 도출합니다. 학술 벤치마크에서의 광범위한 실험을 통해 ARTE가 강력한 LLMs로부터 증류된 기존의 지시 튜닝 데이터셋을 능가하는 우수성을 입증했습니다. 또한, 우리는 ARTE의 일반화를 철저히 조사했는데, 이는 추론 능력에서 미세 조정된 학생 모델의 일반화와 작업 및 학생 간에 맞춤형 훈련 데이터를 생성하는 맞춤화된 교사 모델의 일반화를 포함합니다. 요약하자면, 우리의 기여는 맞춤형 훈련 예제 생성을 위한 새로운 프레임워크를 제안하고, 실험에서 그 효능을 입증하며, ARTE에서 학생 및 맞춤화된 교사 모델의 일반화를 조사한 데 있습니다.

English

Large Language Models (LLMs) have shown significant promise as copilots in various tasks. Local deployment of LLMs on edge devices is necessary when handling privacy-sensitive data or latency-sensitive tasks. The computational constraints of such devices make direct deployment of powerful large-scale LLMs impractical, necessitating the Knowledge Distillation from large-scale models to lightweight models. Lots of work has been done to elicit diversity and quality training examples from LLMs, but little attention has been paid to aligning teacher instructional content based on student preferences, akin to "responsive teaching" in pedagogy. Thus, we propose ARTE, dubbed Aligning TeacheR with StudenT PreferencEs, a framework that aligns the teacher model with student preferences to generate tailored training examples for Knowledge Distillation. Specifically, we elicit draft questions and rationales from the teacher model, then collect student preferences on these questions and rationales using students' performance with in-context learning as a proxy, and finally align the teacher model with student preferences. In the end, we repeat the first step with the aligned teacher model to elicit tailored training examples for the student model on the target task. Extensive experiments on academic benchmarks demonstrate the superiority of ARTE over existing instruction-tuning datasets distilled from powerful LLMs. Moreover, we thoroughly investigate the generalization of ARTE, including the generalization of fine-tuned student models in reasoning ability and the generalization of aligned teacher models to generate tailored training data across tasks and students. In summary, our contributions lie in proposing a novel framework for tailored training example generation, demonstrating its efficacy in experiments, and investigating the generalization of both student & aligned teacher models in ARTE.