Alinhando Professor com Preferências do Aluno para Geração de Dados de Treinamento Personalizados

Aligning Teacher with Student Preferences for Tailored Training Data Generation

June 27, 2024

Autores: Yantao Liu, Zhao Zhang, Zijun Yao, Shulin Cao, Lei Hou, Juanzi Li

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm mostrado um grande potencial como copilotos em diversas tarefas. A implantação local de LLMs em dispositivos de borda é necessária ao lidar com dados sensíveis à privacidade ou tarefas sensíveis à latência. As restrições computacionais desses dispositivos tornam a implantação direta de LLMs de grande escala poderosos impraticável, o que torna necessária a Destilação de Conhecimento de modelos de grande escala para modelos mais leves. Muito trabalho foi feito para obter diversidade e exemplos de treinamento de qualidade dos LLMs, mas pouca atenção foi dada à alinhamento do conteúdo instrucional do professor com base nas preferências do aluno, semelhante ao "ensino responsivo" na pedagogia. Assim, propomos ARTE, apelidado de Alinhando Professor com Preferências do Aluno, um framework que alinha o modelo do professor com as preferências do aluno para gerar exemplos de treinamento personalizados para a Destilação de Conhecimento. Especificamente, obtemos perguntas e justificativas preliminares do modelo do professor, em seguida, coletamos as preferências dos alunos sobre essas perguntas e justificativas usando o desempenho dos alunos com aprendizado contextual como um proxy, e finalmente alinhamos o modelo do professor com as preferências dos alunos. No final, repetimos o primeiro passo com o modelo do professor alinhado para obter exemplos de treinamento personalizados para o modelo do aluno na tarefa alvo. Experimentos extensivos em benchmarks acadêmicos demonstram a superioridade do ARTE em relação aos conjuntos de dados de ajuste de instrução existentes destilados de LLMs poderosos. Além disso, investigamos minuciosamente a generalização do ARTE, incluindo a generalização dos modelos de alunos ajustados em habilidade de raciocínio e a generalização dos modelos de professores alinhados para gerar dados de treinamento personalizados em tarefas e alunos. Em resumo, nossas contribuições residem em propor um novo framework para geração de exemplos de treinamento personalizados, demonstrar sua eficácia em experimentos e investigar a generalização tanto dos modelos de alunos quanto dos modelos de professores alinhados no ARTE.

English

Large Language Models (LLMs) have shown significant promise as copilots in various tasks. Local deployment of LLMs on edge devices is necessary when handling privacy-sensitive data or latency-sensitive tasks. The computational constraints of such devices make direct deployment of powerful large-scale LLMs impractical, necessitating the Knowledge Distillation from large-scale models to lightweight models. Lots of work has been done to elicit diversity and quality training examples from LLMs, but little attention has been paid to aligning teacher instructional content based on student preferences, akin to "responsive teaching" in pedagogy. Thus, we propose ARTE, dubbed Aligning TeacheR with StudenT PreferencEs, a framework that aligns the teacher model with student preferences to generate tailored training examples for Knowledge Distillation. Specifically, we elicit draft questions and rationales from the teacher model, then collect student preferences on these questions and rationales using students' performance with in-context learning as a proxy, and finally align the teacher model with student preferences. In the end, we repeat the first step with the aligned teacher model to elicit tailored training examples for the student model on the target task. Extensive experiments on academic benchmarks demonstrate the superiority of ARTE over existing instruction-tuning datasets distilled from powerful LLMs. Moreover, we thoroughly investigate the generalization of ARTE, including the generalization of fine-tuned student models in reasoning ability and the generalization of aligned teacher models to generate tailored training data across tasks and students. In summary, our contributions lie in proposing a novel framework for tailored training example generation, demonstrating its efficacy in experiments, and investigating the generalization of both student & aligned teacher models in ARTE.