Os LLMs Podem Aprender Ensinando? Um Estudo Preliminar

Can LLMs Learn by Teaching? A Preliminary Study

June 20, 2024

Autores: Xuefei Ning, Zifu Wang, Shiyao Li, Zinan Lin, Peiran Yao, Tianyu Fu, Matthew B. Blaschko, Guohao Dai, Huazhong Yang, Yu Wang

cs.AI

Resumo

O ensino para melhorar modelos de estudantes (por exemplo, destilação de conhecimento) é uma metodologia amplamente estudada em LLMs. No entanto, para os humanos, o ensino não apenas melhora os alunos, mas também melhora os professores. Perguntamos: Os LLMs também podem aprender ensinando (LbT)? Se sim, podemos potencialmente desbloquear a possibilidade de avançar continuamente os modelos sem depender exclusivamente de dados produzidos por humanos ou modelos mais fortes. Neste artigo, fornecemos uma exploração preliminar dessa agenda ambiciosa. Mostramos que ideias de LbT podem ser incorporadas aos pipelines de treinamento/estímulo de LLM existentes e proporcionar melhorias perceptíveis. Especificamente, projetamos três métodos, cada um imitando um dos três níveis de LbT em humanos: observar o feedback dos alunos, aprender com o feedback e aprender de forma iterativa, com o objetivo de melhorar a precisão das respostas sem treinamento e aprimorar a capacidade inerente dos modelos com ajustes finos. Os resultados são encorajadores. Por exemplo, semelhante ao LbT em humanos, observamos que: (1) LbT pode induzir generalização de fraco para forte: modelos fortes podem se aprimorar ensinando outros modelos fracos; (2) Diversidade nos alunos pode ser benéfica: ensinar vários alunos pode ser melhor do que ensinar um único aluno ou o próprio professor. Esperamos que essa promessa inicial possa inspirar pesquisas futuras sobre LbT e adotar de forma mais ampla técnicas avançadas em educação para melhorar LLMs. O código está disponível em https://github.com/imagination-research/lbt.

English

Teaching to improve student models (e.g., knowledge distillation) is an extensively studied methodology in LLMs. However, for humans, teaching not only improves students but also improves teachers. We ask: Can LLMs also learn by teaching (LbT)? If yes, we can potentially unlock the possibility of continuously advancing the models without solely relying on human-produced data or stronger models. In this paper, we provide a preliminary exploration of this ambitious agenda. We show that LbT ideas can be incorporated into existing LLM training/prompting pipelines and provide noticeable improvements. Specifically, we design three methods, each mimicking one of the three levels of LbT in humans: observing students' feedback, learning from the feedback, and learning iteratively, with the goals of improving answer accuracy without training and improving models' inherent capability with fine-tuning. The findings are encouraging. For example, similar to LbT in human, we see that: (1) LbT can induce weak-to-strong generalization: strong models can improve themselves by teaching other weak models; (2) Diversity in students might help: teaching multiple students could be better than teaching one student or the teacher itself. We hope that this early promise can inspire future research on LbT and more broadly adopting the advanced techniques in education to improve LLMs. The code is available at https://github.com/imagination-research/lbt.