Согласование предпочтений учителя с предпочтениями студента для создания персонализированных обучающих данных.

Aligning Teacher with Student Preferences for Tailored Training Data Generation

June 27, 2024

Авторы: Yantao Liu, Zhao Zhang, Zijun Yao, Shulin Cao, Lei Hou, Juanzi Li

cs.AI

Аннотация

Большие языковые модели (LLM) показали значительный потенциал как сопилоты в различных задачах. Локальное развертывание LLM на периферийных устройствах необходимо при работе с данными, требующими конфиденциальности, или задачах с чувствительностью к задержке. Вычислительные ограничения таких устройств делают непосредственное развертывание мощных крупномасштабных LLM непрактичным, что требует Дистилляции Знаний от крупномасштабных моделей к легковесным моделям. Было проведено много работ по извлечению разнообразных и качественных обучающих примеров из LLM, но мало внимания уделялось выравниванию содержания учебных материалов учителя на основе предпочтений студентов, аналогично "реактивному обучению" в педагогике. Таким образом, мы предлагаем ARTE, названный Aligning TeacheR with StudenT PreferencEs, фреймворк, который выравнивает модель учителя с предпочтениями студентов для создания индивидуальных обучающих примеров для Дистилляции Знаний. Конкретно, мы извлекаем черновые вопросы и обоснования от модели учителя, затем собираем предпочтения студентов по этим вопросам и обоснованиям, используя успеваемость студентов с контекстным обучением в качестве прокси, и в конечном итоге выравниваем модель учителя с предпочтениями студентов. В конце концов, мы повторяем первый шаг с выровненной моделью учителя для извлечения индивидуальных обучающих примеров для модели студента по целевой задаче. Обширные эксперименты на академических бенчмарках демонстрируют превосходство ARTE над существующими наборами данных по настройке инструкций, дистиллированными из мощных LLM. Более того, мы тщательно исследуем обобщение ARTE, включая обобщение донастроенных моделей студента по способности к рассуждению и обобщение выровненных моделей учителя для создания индивидуальных обучающих данных по задачам и студентам. В заключение, наш вклад заключается в предложении нового фреймворка для генерации индивидуальных обучающих примеров, демонстрации его эффективности в экспериментах и исследовании обобщения как моделей студента, так и выровненных моделей учителя в ARTE.

English

Large Language Models (LLMs) have shown significant promise as copilots in various tasks. Local deployment of LLMs on edge devices is necessary when handling privacy-sensitive data or latency-sensitive tasks. The computational constraints of such devices make direct deployment of powerful large-scale LLMs impractical, necessitating the Knowledge Distillation from large-scale models to lightweight models. Lots of work has been done to elicit diversity and quality training examples from LLMs, but little attention has been paid to aligning teacher instructional content based on student preferences, akin to "responsive teaching" in pedagogy. Thus, we propose ARTE, dubbed Aligning TeacheR with StudenT PreferencEs, a framework that aligns the teacher model with student preferences to generate tailored training examples for Knowledge Distillation. Specifically, we elicit draft questions and rationales from the teacher model, then collect student preferences on these questions and rationales using students' performance with in-context learning as a proxy, and finally align the teacher model with student preferences. In the end, we repeat the first step with the aligned teacher model to elicit tailored training examples for the student model on the target task. Extensive experiments on academic benchmarks demonstrate the superiority of ARTE over existing instruction-tuning datasets distilled from powerful LLMs. Moreover, we thoroughly investigate the generalization of ARTE, including the generalization of fine-tuned student models in reasoning ability and the generalization of aligned teacher models to generate tailored training data across tasks and students. In summary, our contributions lie in proposing a novel framework for tailored training example generation, demonstrating its efficacy in experiments, and investigating the generalization of both student & aligned teacher models in ARTE.