Démocratisation des capacités de raisonnement : apprentissage personnalisé à partir de modèles de langage à grande échelle

Democratizing Reasoning Ability: Tailored Learning from Large Language Model

October 20, 2023

Auteurs: Zhaoyang Wang, Shaohan Huang, Yuxuan Liu, Jiahai Wang, Minghui Song, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang

cs.AI

Résumé

Les grands modèles de langage (LLMs) démontrent des capacités émergentes impressionnantes en traitement du langage naturel, mais leur démocratisation est entravée par d'énormes besoins en calcul et leur nature propriétaire. Des recherches récentes visant à faire progresser des modèles de langage plus petits et open-source en distillant des connaissances à partir de LLMs boîte noire ont obtenu des résultats prometteurs en matière de capacité à suivre des instructions. Cependant, la capacité de raisonnement, plus difficile à développer, est relativement peu explorée. Dans cet article, nous proposons une approche d'apprentissage sur mesure pour distiller cette capacité de raisonnement vers des modèles de langage plus petits, afin de faciliter la démocratisation de cette capacité exclusive. Contrairement à l'utilisation du LLM uniquement comme annotateur de données, nous exploitons son potentiel en tant qu'enseignant de raisonnement en construisant un paradigme d'apprentissage interactif multi-tours. Ce paradigme permet à l'étudiant d'exposer ses lacunes à l'enseignant boîte noire, qui peut ensuite fournir des données d'entraînement personnalisées en retour. De plus, pour exploiter le potentiel de raisonnement du modèle de langage plus petit, nous proposons un apprentissage par auto-réflexion pour motiver l'étudiant à apprendre de ses propres erreurs. L'apprentissage par auto-réflexion et via le LLM sont tous deux adaptés à l'état d'apprentissage de l'étudiant, grâce à l'intégration fluide avec le paradigme d'apprentissage multi-tours. Des expériences et analyses approfondies sur des tâches de raisonnement mathématique et de bon sens démontrent l'efficacité de notre méthode. Le code sera disponible à l'adresse https://github.com/Raibows/Learn-to-Reason.

English

Large language models (LLMs) exhibit impressive emergent abilities in natural language processing, but their democratization is hindered due to huge computation requirements and closed-source nature. Recent research on advancing open-source smaller LMs by distilling knowledge from black-box LLMs has obtained promising results in the instruction-following ability. However, the reasoning ability which is more challenging to foster, is relatively rarely explored. In this paper, we propose a tailored learning approach to distill such reasoning ability to smaller LMs to facilitate the democratization of the exclusive reasoning ability. In contrast to merely employing LLM as a data annotator, we exploit the potential of LLM as a reasoning teacher by building an interactive multi-round learning paradigm. This paradigm enables the student to expose its deficiencies to the black-box teacher who then can provide customized training data in return. Further, to exploit the reasoning potential of the smaller LM, we propose self-reflection learning to motivate the student to learn from self-made mistakes. The learning from self-reflection and LLM are all tailored to the student's learning status, thanks to the seamless integration with the multi-round learning paradigm. Comprehensive experiments and analysis on mathematical and commonsense reasoning tasks demonstrate the effectiveness of our method. The code will be available at https://github.com/Raibows/Learn-to-Reason.