Können LLMs durch Lehren lernen? Eine Vorstudie.

Can LLMs Learn by Teaching? A Preliminary Study

June 20, 2024

Autoren: Xuefei Ning, Zifu Wang, Shiyao Li, Zinan Lin, Peiran Yao, Tianyu Fu, Matthew B. Blaschko, Guohao Dai, Huazhong Yang, Yu Wang

cs.AI

Zusammenfassung

Das Lehren zur Verbesserung von Schülermodellen (z. B. Wissensvermittlung) ist eine umfassend untersuchte Methodik in LLMs. Allerdings verbessert das Lehren für Menschen nicht nur die Schüler, sondern auch die Lehrer. Wir fragen: Können LLMs auch durch Lehren lernen (LbT)? Wenn ja, könnten wir potenziell die Möglichkeit erschließen, die Modelle kontinuierlich weiterzuentwickeln, ohne ausschließlich auf menschenerzeugte Daten oder stärkere Modelle angewiesen zu sein. In diesem Papier bieten wir eine vorläufige Erkundung dieser ehrgeizigen Agenda an. Wir zeigen, dass LbT-Ideen in bestehende LLM-Trainings-/Aufforderungspipelines integriert werden können und deutliche Verbesserungen liefern. Konkret entwerfen wir drei Methoden, die jeweils eine der drei Ebenen des LbT bei Menschen nachahmen: Beobachten des Feedbacks der Schüler, Lernen aus dem Feedback und iteratives Lernen, mit dem Ziel, die Antwortgenauigkeit ohne Training zu verbessern und die inhärente Fähigkeit der Modelle durch Feinabstimmung zu verbessern. Die Ergebnisse sind vielversprechend. Beispielsweise sehen wir ähnlich wie beim LbT bei Menschen, dass: (1) LbT eine schwache-zu-starke Verallgemeinerung induzieren kann: Starke Modelle können sich verbessern, indem sie anderen schwachen Modellen beibringen; (2) Vielfalt bei den Schülern hilfreich sein könnte: Das Unterrichten mehrerer Schüler könnte besser sein als das Unterrichten eines Schülers oder des Lehrers selbst. Wir hoffen, dass dieses frühe Versprechen zukünftige Forschung zu LbT inspirieren und die breitere Übernahme fortschrittlicher Techniken in der Bildung zur Verbesserung von LLMs fördern kann. Der Code ist verfügbar unter https://github.com/imagination-research/lbt.

English

Teaching to improve student models (e.g., knowledge distillation) is an extensively studied methodology in LLMs. However, for humans, teaching not only improves students but also improves teachers. We ask: Can LLMs also learn by teaching (LbT)? If yes, we can potentially unlock the possibility of continuously advancing the models without solely relying on human-produced data or stronger models. In this paper, we provide a preliminary exploration of this ambitious agenda. We show that LbT ideas can be incorporated into existing LLM training/prompting pipelines and provide noticeable improvements. Specifically, we design three methods, each mimicking one of the three levels of LbT in humans: observing students' feedback, learning from the feedback, and learning iteratively, with the goals of improving answer accuracy without training and improving models' inherent capability with fine-tuning. The findings are encouraging. For example, similar to LbT in human, we see that: (1) LbT can induce weak-to-strong generalization: strong models can improve themselves by teaching other weak models; (2) Diversity in students might help: teaching multiple students could be better than teaching one student or the teacher itself. We hope that this early promise can inspire future research on LbT and more broadly adopting the advanced techniques in education to improve LLMs. The code is available at https://github.com/imagination-research/lbt.